找到 1 篇关于此标签的文章
llama.cpp 本周合并了 MTP(多 Token 预测)的概率版本改进,让模型一次性草拟多个字再校验,长文本生成提速 14%。数字小,却代表开源推理生态在效率上又追近云端一步。