RTX 3090 单卡跑 Qwen 跑到 140 token/s — 老硬件的天花板又被掀高

本周 Reddit 上一个数字让编辑部停下来看：单张 2020 年发布的 RTX 3090 跑 Qwen3.8-27B 跑到了 140 token/s。这个速度是 llama.cpp 的 1.9 倍 — 而帮开发者写出这个 CUDA 内核的，是另一个大模型 Claude。

这是什么

所谓 megakernel，是把原本需要多次 GPU 启动的运算合并到一次调用里。Qwen3.8 系列支持"投机解码"（speculative decoding，即先用小模型猜几个 token，大模型一次性验证）。常规做法要多次调度 GPU，这个内核把整个验证循环塞进一次启动里，验证 4-5 个草稿 token 的成本接近验证 1 个。 实际成绩：写代码场景 140 vs 73 token/s（1.9 倍）；4K token 上下文 95 vs 56（1.7 倍）；输入处理 1,600 vs 1,100 token/s（1.4 倍）。项目以 OpenAI 兼容服务形式发布，可以作为 llama server 的平替。

行业怎么看

值得划线的限制：内核只对 3090 单卡 + unsloth Q4_K_M 量化版优化。换 4090、A100 不一定有效。这是硬件-模型-内核三者强绑定的极致工程，不是通用解法。 也有开发者提出质疑：单点 benchmark 复现性存疑；不同上下文长度下的稳定性需要更多样本；KVCache 在 8 万 token 后降到 q8 量化，长上下文场景下的精度风险需要观察。 但积极的一面同样明确：用前沿大模型写出底层 CUDA 代码，说明大模型在系统编程领域的能力边界在持续拓展。"AI 优化 AI" 不再是 PPT 上的口号，已经出现在 GitHub 仓库里。

对普通人的影响

- 对企业 IT：短期内不用动。megakernel 是单点极致优化，企业级推理仍得靠 vLLM、SGLang 这类成熟框架。但这件事说明消费级硬件跑大模型还有相当多优化空间，私有化部署的硬件成本可能比预期更低。 - 对个人职场：会跑本地模型、又愿意折腾的开源爱好者多了一个选项。在数据不出门场景下（合同、内部代码），27B 级别模型已经能承担不少工作；但需要懂一点 CUDA 和量化的基本概念。 - 对消费市场：RTX 3090 已停产三年，仍能在优化后跑出接近云端 API 的速度。"必须买最新卡"的逻辑在松动，二手卡和显卡租赁市场可能因此更活跃。