腾讯
腾讯 DSpine 提升大模型推理效率，验证草稿模型仍有改进空间
腾讯提出 DSpine，通过在模型各层注入前序位置信息，改善并行草稿生成的连贯性。论文称其在 Qwen3 模型上提高平均接受长度与推理吞吐，值得关注的是，这类底层优化可能比单纯扩大模型更直接影响 AI 服务成本。
返回首页
DFlash
找到 2 篇关于此标签的文章
llama.cpp
单卡本地模型提速最高到 6 倍，AI 落地的瓶颈开始从模型转向工程
一位开发者在 RTX 6000 PRO 上测试 llama.cpp 多种“推测式解码”（先由小草稿模型猜，再让大模型逐词验收）方案，Qwen 3.6 27B 在真实多轮改代码任务里最高提速约 6 倍。值得关心的不是跑分，而是本地 AI 的可用性正被工程优化快速拉高。