一个开源补丁在部分硬件上把大模型的生成速度提高 1.4—2.1 倍，说明本地 AI 的关键限制已经不是单纯算力，而是显存、内存与固态硬盘之间如何配合。tandem.cpp 正在把这类部署从显卡性能问题改造成系统调度问题。

这是什么

tandem.cpp 是开发者为 llama.cpp 编写的一组补丁。后者是一套让大语言模型在本地电脑运行的软件；补丁的核心思路是把常用模型部分留在 GPU 上，其余部分交给 CPU 计算，必要时再从 SSD（固态硬盘）读取。

在 16GB 显卡、64GB 内存的电脑上运行 DeepSeek-V4.1-Flash 时，作者报告生成速度由 7.4 token/s（模型每秒生成多少片段）升至 14.2；在 32GB 显卡、128GB 内存的配置下则由 11.5 升至 33.1。补丁也支持 AMD 的 ROCm 软件环境，并在 RX 7900 XTX 上达到 68.6 token/s。

行业怎么看

值得肯定的是，它让存量电脑更有用。模型大到无法全部放进显存时，CPU 和 SSD 不再只是等待中的旁观者，而成为推理流水线的一部分。对预算有限的企业和研究者，这比直接购买高端显卡更具性价比。

但这些数字不能等同于产品级性能保证。测试来自项目作者，使用特定量化版本、CPU、SSD 与问题集；社区里不同机器、不同模型长度和不同提示词，结果可能明显不同。SSD 持续读取也可能影响响应稳定性和寿命，Vulkan 支持目前也尚未完成。它更像一次有价值的工程验证，而不是“本地大模型已全面提速”的定论。

对普通人的影响

对企业 IT：过去需要专用服务器的高性能模型，可能逐步进入已有电脑；但企业仍需核算并发量、磁盘速度、数据安全和维护成本，个人玩家的成绩不能直接套用到生产系统。

对个人职场：懂技术的员工可以在不调用云端模型的情况下处理文档、代码或行业资料，这有助于降低外部服务依赖，也减少敏感信息上传的需要。

对消费市场：短期内，它不会让普通电脑突然拥有云端同等级体验；更现实的变化是，同一台机器能运行更大的模型，升级硬件时也应同时考虑内存容量和 SSD 速度，而非只看显卡。