SpecOPD

Qwen 用分支并行蒸馏提升推理解码速度，推理成本有望继续下降

Qwen 提出 SpecOPD，将大模型推理中的投机解码与分支并行训练结合，研究显示其可提高草稿接受长度，并在部分配置下显著加快生成。对企业而言，价值不在多一个术语，而在于让本地部署、长文本和实时应用更接近可负担的推理成本。