在 RTX 5070 Ti 16GB、64GB 内存的测试中,tandem.cpp v0.3.0 将 Qwen3.8 的 5.5K-token 提示处理从 12.4 秒缩短至 4.1至7.0 秒,DeepSeek-V4.1 的 15.7K-token 提示从 885 秒降至 57 秒。我们认为,这让本地大模型处理长文档的实际可用性明显改善,但尚未达到“即装即用”的普及阶段。
这是什么
tandem.cpp 是一个可在显卡与内存之间协调模型运行的推理引擎,支持 llama.cpp 覆盖的多种模型。新版本启用的“专家缓存”,会把活跃专家临时放入显存,以 4096-token 批次处理提示;只在长提示期间借用显存,结束后释放。
在本次测试中,Qwen3.8 和 DeepSeek-V4.1 的提示处理速度提升约 2至6倍。开发者还为 Project Maya 增加了 DeepSeek-V4.1 的 GGUF 权重格式转换支持,并在相同文件下与 Maya 引擎比较。
行业怎么看
值得关注的是,长提示处理正在从“等待加载”变成推理引擎的明确竞争指标。企业知识库问答、合同审阅和代码库分析都会先输入长上下文,因此首字节等待时间会直接影响本地部署的体验与成本。
风险也很清楚:这些成绩来自特定硬件、量化版本和测试集,生成速度数据还受短回答策略影响,不能直接外推到所有设备。tandem.cpp 目前仅支持 Linux,AMD 的显存借用功能尚未开放;DeepSeek-V4.1 在内存不足时仍会读取 SSD,而 Maya 在最长提示测试中仍更快。换言之,v0.3.0 改善了短板,但还没有消除本地推理的硬件门槛。
对普通人的影响
对企业 IT:有敏感数据不宜上云、又需要处理长文档的团队,可以重新评估本地模型方案;但部署前仍需核算内存、SSD 和操作系统成本。
对个人职场:开发者和技术爱好者可用更低等待时间处理代码库与长资料,非技术员工则暂时看不到明显的产品变化。
对消费市场:这项进展可能推动本地 AI 应用减少云端调用,但 Windows 版缺席、配置要求偏高,短期难以进入大众市场。