llama.cpp 跑通决策模型，本地 AI 进入'先想再说'时代

这是什么

llama.cpp 这周合并的新功能"Decision Models"，让 OpenAI o1、DeepSeek-R1 这类"先想再说"的推理模型，第一次有望在消费级硬件上稳定跑起来。

llama.cpp 是 GitHub 上最受欢迎的开源大模型推理引擎（让模型在本地跑起来的软件），由开发者 Georgi Gerganov 维护，长期被用来在消费级显卡甚至 MacBook 上跑 Llama、Qwen、DeepSeek 等开源模型。

过去跑推理模型常卡在思维链（让模型把思考过程展开）解析环节——要么崩溃，要么答非所问。新功能补上的就是这一层兼容。

行业怎么看

支持者认为这是开源生态的里程碑：推理模型的算力成本通常是普通模型的 3-10 倍（因为要生成更长的思考过程），本地能跑意味着医疗、法律、内部数据等隐私敏感场景终于有可行方案。

但也有开发者泼冷水。一条高赞评论指出，"Decision Models"这个名字容易和"决策系统"混淆，实际只是增加对带 reasoning trace（思考过程输出）格式的兼容——本质是格式适配，不是算法突破。另一层现实风险是：本地跑 R1 满血版至少需要 32GB 显存，对大多数员工来说门槛依然不低。

对普通人的影响

对企业 IT：涉及客户数据不能上云的业务，llama.cpp 这条线值得重新评估。推理模型本地化方案正从"能跑"走向"能稳定用"。

对个人职场：MacBook M 系列用户现在可本地跑中小尺寸推理模型做草稿、总结、代码审查，省去 API 费用——但要做好心理准备，速度比云端慢 5-10 倍。

对消费市场：推理模型云端 API 的价格战（OpenAI、DeepSeek、Qwen 持续降价）可能因此放缓——既然本地能用，企业客户的付费意愿会下降。