百万上下文跑在两张 5090 上 — 企业自建 AI 的硬件神话被业余玩家打破

这是什么

104 万 token 上下文、27B 参数模型、每秒 119 个 token——这三个数字同时出现在本周 Reddit 上一块帖子里，硬件是一对消费级 RTX 5090。这件事值得关心的是：自建大模型的硬件门槛正在被业余项目打穿。

开发者改造了一个叫 NInfer 的开源推理引擎（用 C++20 和 CUDA 从零写成的 Qwen 专用工具），做两件事——把模型权重拆分到两张 GPU 并行计算，再叠加 YaRN 上下文扩展算法，把原生 26 万 token 的窗口撑到 104 万。在 65 万 token 长文档场景下，速度达 119 tok/s，是主流 vLLM（最常用的开源推理框架）的 2.8 倍。

关键细节：vLLM 在超出原生窗口后，投机解码（用小模型先猜、大模型确认的加速技巧）命中率直接归零；NInfer 仍保持 55-60%——这就是差距来源。

行业怎么看

支持方认为这是开源生态的胜利——推理引擎多元化让企业不被单一框架绑定，长上下文不再是"必须上 H100"的奢侈品。

但我们注意到三个被忽略的限制：

第一，这是单流（一次一个用户）的实验室数据，不是企业生产环境的多用户并发场景。NInfer 没说自己扛得住多少人同时用。

第二，预填（prefill，即模型首次读完整个提示词的过程）阶段 vLLM 反而快 20-30%。一个 100 万 token 提示词，NInfer 需约 18 分钟——对实时业务不可用。

第三，"消费级"是相对的：两块 RTX 5090 加起来近 5 万人民币，对企业只是省下一张 H100 的成本，远谈不上"白菜价"。

更深的风险是：长上下文不等于用得起来。模型在 100 万 token 位置的信息召回能力，没人在这测试里验证过。

对普通人的影响

对企业 IT：自建大模型的最低预算从一台 8 卡 H100 服务器（约 150 万）下沉到两张 5090（约 5 万）。但这不意味着能马上动手——推理引擎选型、运维、稳定性都还没现成方案。

对个人职场：长文档工作（合同、代码库、研究报告）场景下，"把整个项目喂给 AI"正变得可行，但成为日常工具还需 1-2 年。

对消费市场：暂时无直接影响。这件事更像是给硬件厂商和云服务商提了个醒——你们定价里的"AI 溢价"可能比想象中虚。