llama.cpp 新增了 FP8 KV-cache 支持：它把模型生成过程中保存上下文的缓存改用 8 位浮点格式，核心目标是降低内存占用。值得关心的是，本地大模型的瓶颈正从“能否运行”转向“能否以可接受的成本运行更长的任务”。
这是什么
KV-cache（键值缓存）是模型处理对话时保存历史信息的临时记忆，避免每生成一个词都重新计算全部上下文。传统格式通常采用 FP16，也就是每项占 16 位；FP8 改为 8 位，理论上可把这部分内存占用压到约一半。
llama.cpp 是让大语言模型可在个人电脑和服务器本地运行的开源项目。此次更新补上了 FP8 缓存能力，意味着用户不必只依赖量化后的模型权重，也能通过降低缓存精度来腾出更多内存。
行业怎么看
这项变化的现实价值在于扩大可用配置空间：同一台机器可以承载更长上下文、更多并发请求，或运行更大的模型。对显存有限的设备尤其如此，它可能减少为了省内存而缩短上下文，或被迫换用更小模型的妥协。
但风险也很明确。精度降低可能影响长对话的一致性，而且不同硬件对 FP8 的速度和兼容性并不一致。实际效果取决于模型、提示词长度、推理框架与芯片组合，不能把“缓存减半”直接等同于“整体性能翻倍”。
对普通人的影响
对企业 IT：本地部署私有模型时，同等内存可容纳更长上下文或更多并发任务，有望降低硬件扩容需求；采购前仍需实测任务准确率与响应速度。
对个人职场：在个人电脑或工作站上处理长文档、代码库和内部资料时，模型可用范围可能扩大，敏感数据也能更多留在本地。
对消费市场：支持 FP8 的本地推理工具会逐步下沉到桌面应用和小型服务器，但消费者能否真正受益，仍要看厂商是否跟进以及硬件成本是否下降。