DeepSeek 的实测结果显示,同一底座的新模型复用旧 KV Cache 后,长上下文请求的首 token 延迟最高可改善 5.08 倍;但 Qwen 测试中出现 78.30% 的有害翻转,说明这项优化不能默认全量启用。

这是什么

KV Cache 是模型处理上下文后保存的中间状态,能避免重复计算长提示词、RAG(先检索资料,再让模型基于资料回答)文档和固定指令。论文《Can KV Cache Be Reused Across Model Updates?》测试了四组模型升级,比较旧缓存交给新模型后,任务准确率、首 token 延迟和输出行为的变化。

结果并非一条通用规律:DeepSeek-V4.1-Flash 到 Flash-1017 的有害翻转率仅 0.53%,GLM 为 4.22%;DeepSeek-V4-Flash 达到 26.53%,Qwen3-30B 到 Instruct-2507 更达到 78.30%。在适合的组合中,HotpotQA 的首 token 延迟加速中位数为 5.08 倍;前缀较短时,读取缓存的开销还可能让速度变慢。

行业怎么看

我们认为,这项研究把模型升级时“缓存是否清空”从经验判断变成了可测量的工程决策。对长上下文推理服务而言,跨版本复用有机会直接降低等待时间和计算成本,也让同一套应用基础设施适配快速迭代的模型版本。

但风险同样明确。旧缓存本质上保留了旧模型对文本的内部表示,新旧模型能力接近,不代表行为完全兼容。总准确率上升也可能掩盖原有正确答案被改错;论文提出“功能缓存散度”指标,正是为了识别表面答案未变、内部概率分布已经偏移的情况。因此,实际部署至少要按模型对、前缀长度和任务类型做回放测试,并设置自动失效阈值,不能把 5.08 倍直接当作普遍收益。

对普通人的影响

对企业 IT:采用这类方案,模型升级时可能少做一次长上下文重算,但必须增加缓存兼容性测试和回滚机制,节省下来的费用能否覆盖验证成本仍是关键。

对个人职场:它不会直接改变我们的工作,却可能让企业知识库、客服和文档分析系统响应更快、更便宜;与此同时,企业需要重新检查升级模型后答案是否仍稳定。

对消费市场:复用缓存可能降低 AI 应用的调用成本和使用门槛,但错误答案仍可能悄悄增加,产品体验是否改善最终取决于厂商有没有做好版本验证。