这是什么

投机解码（speculative decoding）是一种推理加速技术。简单说：大模型本来是一个字一个字往外蹦，投机解码让它"先猜几个字"，猜对了就一次性输出，猜错了回头补——像我们说话时脑子里会先过几个候选词。

Reddit 用户 zippydazoop 最近用本地显卡跑一个带 MTP 的蒸馏模型，硬件只能撑到每秒 2-3 个 token，但遇到"美利坚合众国""热力学第一定律""互联网的 enshittification"这种高频短语时，屏幕上是瞬间蹦出来的——这就是投机解码在肉眼可见地工作。MTP（Multi-Token Prediction，多 token 预测）让模型在训练时就学会一次预测多个 token，配合投机解码能显著提升命中率和加速比。

行业怎么看

我们注意到，投机解码已经从研究论文走进工程现实。vLLM、TGI、SGLang 等主流推理框架都已支持 speculative decoding。本地推理框架 llama.cpp、Ollama 也在陆续加入实验性功能。DeepSeek-V3 把多 token 预测写进训练目标，让投机解码在主流大模型上原生可用——这是工程上的关键一步。

值得警惕的是：投机解码的加速效果强依赖场景。如果用户输入是创意写作、代码生成这种"下一个字难猜"的内容，命中率会明显下降，加速比可能跌到 1.2 倍甚至更低。模型厂商宣传的"生成速度翻倍"往往来自精心挑选的 benchmark，不是真实业务场景——这是值得企业采购方追问的细节。

对普通人的影响

对企业 IT：私有化部署大模型的硬件成本可能下降。同样一张显卡，过去只能服务 10 个员工并发提问，现在理论上能服务更多，采购部门值得重新算账。

对个人职场：用本地 AI 工具处理长文档，第一次会感觉"明显快了"——但别被速度迷惑，输出质量没变，关键还是看任务匹配度。

对消费市场：云端 AI 助手的响应会更顺，按 token 计费的 API 价格大概率继续走低，这是消费者能直接感受到的红利。