Megakernel

RTX 3090 单卡跑 Qwen 27B 速度快近一倍 — 本地大模型的玩法正在被改写

一位开发者写了一个叫 megakernel 的自定义 CUDA 内核,让通义千问 Qwen3-27B 在单张消费级 RTX 3090 上的写代码推理速度从 73 token/秒拉到 140 token/秒,接近翻倍,输出质量几乎无变化。本地跑中型大模型的硬件门槛正在被重新画线。