这是什么
D3D 是一种用于大模型加速的推测解码方法。推测解码先让较小的“草稿模型”预测后续文字,再由大模型一次性核验,从而减少逐字生成带来的等待。D3D 的关键变化,是让下一批草稿与上一批核验同时进行,打破两者轮流运行的限制。
论文以 Qwen3-8B 和 Qwen3-32B 为目标模型,在七个基准测试中分别取得平均 5.00 倍和 5.71 倍解码加速;Qwen3-32B 在 GSM8K 数学题上的最高加速达到 7.48 倍。团队还公开了六个草稿模型检查点和代码,但这些是配套草稿模型,并非 Qwen3 的替代品。
行业怎么看
我们注意到,推理速度仍是企业部署本地大模型时绕不开的现实问题,尤其是内部知识库、客服和批量文档处理等场景。D3D 通过分层裁剪控制开销,移除 36 层中的 5 层后,平均可接受长度仍超过原来的 99%,说明“少一层、多一点并行”可能比单纯扩大模型更有工程价值。
风险也很明确:这些数字来自论文与特定模型、基准环境,不能直接等同于生产系统的整体提速。真实系统还受显卡显存、并发请求、提示词长度和输出质量影响;更高速度若伴随更高显存占用或核验波动,企业未必能获得同等收益。该研究目前也主要是作者自报结果,仍需独立团队在消费级显卡和多模型服务框架中复现。
对普通人的影响
对企业 IT:如果 D3D 能在现有硬件上稳定复现,本地部署 AI 助手与批量处理任务的等待时间可能下降,但采购前应同时比较总成本、吞吐量和答案一致性,而非只看峰值倍率。
对个人职场:开源模型配合专用草稿模型,可能让离线总结、材料检索和长文生成更接近“即时响应”;不过能否改善日常办公体验,取决于设备性能和软件集成,而非论文中的单项跑分。
对消费市场:这项工作暂未直接推动终端产品上市,但若后续被推理工具采用,本地 AI 应用在手机和电脑上的响应速度、耗电与散热表现都可能改善。