Qwen
Qwen 用分支并行蒸馏提升推理解码速度，推理成本有望继续下降
Qwen 提出 SpecOPD，将大模型推理中的投机解码与分支并行训练结合，研究显示其可提高草稿接受长度，并在部分配置下显著加快生成。对企业而言，价值不在多一个术语，而在于让本地部署、长文本和实时应用更接近可负担的推理成本。
返回首页
投机解码
找到 4 篇关于此标签的文章
llama.cpp
llama.cpp 一项优化提速 42 倍 — 本地大模型体验正在追近云端
llama.cpp 是本地跑大模型最主流的开源框架。这次更新把一种叫'提示查找草稿'的推理技术提速到原来的 42 倍，意味着本地大模型的体验正在快速追近云端水平。
DeepSeek
开源大模型现在会'预判'下一句了 — 投机解码正在变成推理标配
最近有用户在本地显卡上跑开源大模型时，肉眼看到投机解码在工作——AI 提前猜出'美利坚合众国'这类高频短语，瞬间整句输出。背后是 MTP 多 token 预测技术。我们关心的是：本地推理的成本曲线正在被悄悄改写。
Google
Google 让 Gemma 4 生成速度翻倍 — 小模型带大模型跑的"投机解码"成主流
Google 发布 Gemma 4 系列 MTP 模型，通过"投机解码"技术实现最高 2 倍加速且输出质量不变。这意味着本地部署大模型的实用性显著提升，算力门槛进一步降低。