返回首页
speculative decoding
找到 2 篇关于此标签的文章
MetaMuse Glimmer
Meta 30B 模型在 Mac 上提速 3 倍 — 开源社区让本地大模型开始能用
开发者 A-Rahim 用推测解码让 Meta 新出的 Muse Glimmer 30B 在 M4 Pro 上提速最高 3.3 倍，输出与原版完全一致。这事为什么值得关心：本地跑大模型开始从极客玩具变成普通人也能上手的工具。
8月12日2 分钟
Gemma 4LiteRT
Gemma 4 Has Hidden MTP Heads Disabled by Google at Launch
A developer found multi-token prediction weights inside Gemma 4's LiteRT files; Google confirmed MTP exists but was intentionally disabled.
4月7日2 分钟