这周 llama.cpp 项目合并了一项 PR（开发者提交的代码更新）：让 CPU 跑大模型的矩阵运算（AI 最核心的计算动作）速度提升 3-7 倍。值得关心的是下手的人 — 不是云厂商，是开源社区里一位叫 jbooth 的工程师，用 Intel 的 VNNI 指令（CPU 内置的 AI 加速功能）改写了底层逻辑。

这是什么

llama.cpp 是目前最主流的开源大模型推理框架，让你能在自己的电脑或服务器上跑 ChatGPT 同款模型，不依赖任何云服务。过去大模型跑在 CPU 上很慢，因为矩阵乘法（让 AI 思考的核心算式）是大模型的命门。这次更新通过「tile」思路（把大块计算切成小块并行处理）+ VNNI 指令，让普通 CPU 也能榨出性能。

具体效果：CPU 处理输入文本（prompt）的速度提升 3-7 倍。这意味着阅读长文档、做合同分析这种「喂给 AI 很多内容」的场景，效率会明显改善。

行业怎么看

支持者认为这是本地 AI 的关键转折：过去企业想用大模型，几乎必须买 Nvidia GPU，一台几万到几十万；这次更新让普通 Intel 服务器也能跑出可用速度，预算逻辑第一次出现松动。

反对意见同样存在。资深工程师指出，3-7 倍是「读进去」的速度，不是 AI 逐字生成回答的速度，后者才是用户体验的瓶颈；而且 VNNI 只支持较新的 Intel CPU，老机房照样用不上。另外 llama.cpp 长期由个人开发者维护，企业级稳定性、合规审计、安全更新仍是悬而未决的问题。

对普通人的影响

对企业 IT：原本「上 AI 必须先买 GPU」的预算路径，第一次出现替代选项；中大型企业可以先在现有机房试点内部 AI 应用，不必一上来就重金投入。

对个人职场：本地 AI 工具的反应速度会明显变快，处理长文档、合同、报告这类工作时等待时间会缩短。

对消费市场：本地 AI 应用的耗电和发热会改善，未来「不上传数据也能用 AI」的隐私卖点会更实在。