Prefill

长对话为何越聊越慢：KV Cache 正成为推理成本关键账本

大模型处理请求分为预填充和解码两个阶段，后者依赖 KV Cache 复用历史信息。随着上下文与并发增加，显存占用和响应延迟同步上升，这正成为企业部署 AI 时比模型参数更现实的成本约束。