这是什么

上周 r/LocalLLaMA 上一则求助帖被顶了起来：楼主硬件是 i7-8700（2017 年发布）+ RTX 2060（6GB 显存）+ 32GB 内存——在闲鱼大概是一台七八百块的二手主机水平。他想体验本地大模型，但一进社区就破防：晒机帖里全是万元 Mac M5，Hugging Face 上同名模型挂着一堆后缀——Q4、Q5、Q8——完全看不懂。

我们之所以把这事拎出来，是因为它照出了本地 AI 真正的问题不是买不起，而是看不懂。「量化」（Quantization）——把模型从高精度压缩到低精度，让它能塞进小显存跑——技术早已成熟，社区里甚至有人用纯 CPU 跑 1B 级小模型；但这套知识没有人替新手用大白话串一遍。

行业怎么看

乐观派认为这恰恰是 AI 民主化的真正落点：Ollama、LM Studio 这类一键运行工具，加上 0.5B 到 7B 的小模型生态，普通电脑本地跑 AI 已经不只是「能跑」，而是真的「够用」——做摘要、改写、查资料完全吃得下。

但怀疑声音也很硬。第一，量化损失不是营销话术能抹掉的——从 Q4（4-bit）开始，模型在小语种、数学、代码上的退化肉眼可见，「跑得动」和「跑得好」是两件事。第二，这套生态高度依赖开源社区，没有商业 SLA：工具半年不更新、模型作者下架权重是常态，企业拿来用要掂量。第三，电费被严重低估——一张中端显卡 24 小时满载的电费，跟订阅 ChatGPT Plus 比没有明显便宜，回报周期并不清晰。

对普通人的影响

对企业 IT：评估自建本地 AI 部署时，要把「硬件+电费+维护时间」打包算；量化模型在内部知识库场景下的表现，需要小范围 PoC 别拿消费级显卡玩具测试当结论。

对个人职场：不必被万元装机叙事吓退，但也要清醒——你那台办公笔记本能跑通的不叫「私人 GPT」，是「缩水版助手」，写邮件、列提纲够用，写合同、啃代码别指望。

对消费市场：联想、戴尔今年都在猛推「AI PC」概念机，下单前最好实测一下厂商预装模型到底跑在哪、是不是真的离线、量化到几比特——本地不等于隐私，离线不等于免费。