这是什么

一位开发者写了一个叫 megakernel 的自定义 CUDA 内核(针对特定模型高度定制的 GPU 计算单元),让通义千问 Qwen3-27B 在单张消费级 RTX 3090 上的写代码推理速度从 73 token/秒拉到 140 token/秒——接近翻倍,且与标准推理输出相比 KL 散度(衡量两个分布差距的指标,越小越接近)只有 0.0009,质量几乎无损失。

代码已经开源(GitHub: open-jet)。作者 L-Forster 自己写得很直白:目前只在 3090 上调优,4090、5090 等还没适配。

行业怎么看

这件事值得注意的有两点。

第一,本地大模型的硬件成本正在下沉。27B 这种"够用型"参数规模,在消费级显卡上能跑出实用速度,意味着中型企业私有化部署的预算线可以重新画——以前需要至少一张 A6000 或租用云 GPU 的工作负载,一张二手 3090 也许就能顶住。

第二,社区力量依然可以反超成熟框架。llama.cpp 是几十个贡献者长期维护的开源项目,一个独立开发者的手写 CUDA 内核比它快接近一倍,本身就是行业里少见的"小作坊打正面"案例。

但需要冷静三点:LLM 推理优化是边际收益递减的领域,megakernel 在 30K token 长上下文场景下优势只剩 1.4 倍;作者自承"还没有任务级别的通过率评测",困惑度低不代表真实任务做得好;且只在一张卡上调过,泛化能力存疑。

对普通人的影响

对企业 IT:中型企业私有化部署的硬件预算可以重新审视,消费级 GPU 开始够用,但需要评估长期稳定性与社区支持风险。

对个人职场:有工程能力的人可以开始认真尝试本地 AI 助手(数据完全不出本机),对多数普通白领来说,云服务依然是更省心的选择。

对消费市场:消费级显卡的 AI 生产力正在被重新定义,一张二手 RTX 3090 开始变成个人/小工作室跑本地 AI 的入门票。