llama.cpp
开源推理框架让长上下文快1.72倍,本地大模型开始补效率课
llama.cpp 的一个分支引入免训练的稀疏解码:在 12.8 万 token 场景下,Qwen3-30B-A3B 速度提升 1.72 倍,但准确率下降约 1 点。它让普通高端显卡运行长上下文更可行,也暴露出小模型检索能力可能受损的风险。
找到 1 篇关于此标签的文章
llama.cpp 的一个分支引入免训练的稀疏解码:在 12.8 万 token 场景下,Qwen3-30B-A3B 速度提升 1.72 倍,但准确率下降约 1 点。它让普通高端显卡运行长上下文更可行,也暴露出小模型检索能力可能受损的风险。