12GB 显存的 RTX 显卡，跑不动主流 AI 编程助手——本周 r/LocalLLaMA（专跑开源大模型的玩家圈）一位开发者的吐槽，戳中了「本地部署 AI」最被低估的成本。

这是什么

这位用户发帖说：他测了 Cline 和 VS Code 自带的 AI 编程功能，每次启动就把显存吃满，要么崩溃要么不停压缩对话历史（AI 为了腾出空间反复总结之前聊的内容）。最后勉强能用的是 continue.dev 插件，但每一步都要手动点头才能继续。一张消费级中端显卡，在 Agent 类编程工具（让 AI 自己动手写代码、改文件的应用）面前已经捉襟见肘。

行业怎么看

我们注意到，「本地部署」一直被中小公司视为规避云端成本和数据外传的捷径。但开发者社区的反馈指向一个被忽视的事实：Agent 类工具要同时在显存里放下模型本身、当前打开的文件、工具调用历史，显存门槛远高于普通对话。Continue.dev「每步都问」的设计之所以更省资源，本质上是牺牲自主性换稳定性——你愿意被频繁打断，它才能跑得动。

反对的声音也值得听：一些开发者认为这是过渡问题，模型量化（把模型压缩到更小体积、牺牲少量精度）和更高效的注意力机制，会让 12GB 在明年重新够用。但眼下的现实是，想舒服地跑 Agent 编程，至少 24GB 显存才够。这意味着行业对「本地 AI」的硬件胃口正在被快速重估。

对普通人的影响

对企业的 IT 部门：评估「私有化部署 AI」时，硬件预算不是一次性买卡那么简单，Agent 应用的并发占用会快速推高总成本。

对个人职场：本地跑 AI 编程目前仍是极客玩具；多数白领真正能用得起的还是云端订阅（ChatGPT、Cursor 等），月费 20-40 美元。

对消费市场：AI PC（内置 NPU 神经处理单元、专为 AI 加速的电脑）宣传的「本地 AI」卖点，多数仍只够做语音转写、轻量摘要——真正跑 Agent 工作流还差一两代硬件。