在 RTX 5090 上,llama.cpp 的一个开发者分支让 Qwen3-30B-A3B 处理 12.8 万 token 上下文时,生成速度从每秒 46.1 个 token 提升到 79.2 个,达到 1.72 倍。这不是新模型,而是一次推理机制改造:它不再每生成一个 token 都完整读取缓存,而是优先读取最可能影响结果的部分。
值得我们关心的是,本地大模型的瓶颈正在从“能不能跑”转向“跑得够不够快、丢不丢信息”。这项方案没有重新训练模型,也不需要另建服务栈,为企业部署长文档分析和个人本地使用提供了一条更现实的路径。
这是什么
核心是页面稀疏解码:把 KV 缓存(模型处理历史文本时保存的中间信息)切成每页 64 个 token,再让模型优先读取首屏、最新内容以及与当前生成最相关的页面。在 12.8 万 token 的测试中,每个生成步骤平均只读取约 21% 的缓存。
效果因模型而异:RTX 5090 上的 Qwen3-30B-A3B 加速 1.72 倍,RULER 长文本测试平均下降 1 点;RTX 3090 上的 Qwen3-8B 加速 1.68 倍,成绩反而提高 0.4 点。但 Llama-3.2-3B 加速 1.38 倍后,多信息检索任务平均下降 4.5 点,未通过测试。
行业怎么看
正面看,这项改造把优化放进了主流开源推理框架,而不是要求企业购买专用硬件或接受新的部署体系。对于需要在单张高端显卡上处理合同、代码库和长会议记录的场景,速度提升比单纯增加参数更有商业价值。
风险也很明确。开发者自己也承认,预填充速度没有改善,显存占用也不会下降;低于 3.2 万 token 时,该方案反而更慢。完整缓存仍保存在显存中,额外页面统计约占缓存的 3% 至 6%。此外,每种配置只运行一次,区间估计未计入重复运行波动;目前还仅支持 CUDA、单批次和模型全程驻留 GPU,256k 上下文的结果也没有通过同等质量门槛。因此,1.72 倍是特定条件下的工程成绩,不是所有长文本任务的通用结论。
对普通人的影响
对企业 IT:本地处理长文档的成本可能下降,尤其是拥有高端 NVIDIA 显卡、已有 llama.cpp 部署的组织;但上线前仍需针对自己的文档类型测试召回准确率,不能只看每秒 token 数。
对个人职场:用个人电脑分析大型资料库、代码仓库或会议记录会更流畅,不过普通消费级显卡和较短上下文未必能感受到收益。
对消费市场:本地 AI 工具可能获得更长的可用上下文和更快的响应,但短期内它更像开发者能力升级,而非普通用户已经能稳定体验到的产品功能。