90% 的推理成本常被归咎于 GPU，但轻量化复刻 Kimi K3 的项目揭示了更棘手的问题：KDA 这类固定状态注意力让传统缓存机制失效，推理框架必须重新设计状态保存、恢复与复用。

这是什么

这是一篇基于 CPU 的 Kimi K3 轻量化复刻记录。KDA（Kimi Delta Attention，一种通过递推状态保存历史信息的注意力机制）不保存每个历史 token 的完整 KV，而是持续更新固定大小的状态。

这意味着，传统推理系统里“按前缀缓存历史结果”的做法不能原样使用。模型在处理不同长度的文本后，留下的状态并不相同；一旦请求被切分、暂停、恢复或转移到另一台服务器，就必须准确找回对应状态，否则输出就可能失真。

文章给出的方向包括：SGLang 用带时间检查点的树状缓存、稀疏与压缩检查点，配合写时复制和统一内存管理；vLLM 则把逻辑前缀与物理状态分开，并尝试部分命中与分段保留。核心目标不是把状态永远留在显存里，而是在速度、显存和正确性之间取舍。

行业怎么看

我们认为，这件事值得关注，不是因为“CPU 跑大模型”本身有多大商业想象力，而是因为它把模型结构变化对基础设施的影响具体呈现出来。模型一旦采用混合注意力和递推状态，推理引擎就不能继续把所有模型都当作同一种缓存问题处理。

不过，风险也很明确。源码适配并不等于方案已经经过大规模生产验证。检查点过密会增加开销，过疏又可能拉高重算成本；跨实例共享状态还涉及一致性、调度与故障恢复。更重要的是，复刻项目使用缩小组件或近似组件，它展示的是工程问题，不能直接等同于 Kimi K3 正式版的性能结论。

另一个反对意见是，复杂缓存可能只在特定模型和工作负载下有收益。如果请求长度较短、并发模式传统，额外管理成本未必能被节省的显存抵消。因此，最终判断仍要依赖真实流量下的吞吐、延迟和显存数据。

对普通人的影响

对企业 IT：未来更换模型时，采购清单可能不再只有模型能力和调用价格，还要评估状态缓存、弹性伸缩、故障恢复及跨硬件迁移能力，这些都会影响总体使用成本。

对个人职场：理解“模型效果”和“模型能否稳定服务”之间的差别更重要。具备模型原理、推理优化和系统排障知识的人，会比只会调用现成界面的人更接近 AI 项目的核心位置。

对消费市场：轻量化模型若能降低本地运行成本，长文档助手、隐私敏感工具和低配设备服务可能增加；但真正决定体验的，仍是回答准确率、响应速度与任务完成率，而非模型是否被成功复刻。