投机解码

找到 2 篇关于此标签的文章

DeepSeek投机解码

开源大模型现在会'预判'下一句了 — 投机解码正在变成推理标配

最近有用户在本地显卡上跑开源大模型时，肉眼看到投机解码在工作——AI 提前猜出'美利坚合众国'这类高频短语，瞬间整句输出。背后是 MTP 多 token 预测技术。我们关心的是：本地推理的成本曲线正在被悄悄改写。

13h ago2 分钟

Google 让 Gemma 4 生成速度翻倍 — 小模型带大模型跑的"投机解码"成主流

Google 发布 Gemma 4 系列 MTP 模型，通过"投机解码"技术实现最高 2 倍加速且输出质量不变。这意味着本地部署大模型的实用性显著提升，算力门槛进一步降低。