8G 显存的消费级显卡，要装 130GB 的大模型权重，差距是 16 倍 — 这曾经是 AI 本地化跨不过去的鸿沟。我们注意到，量化（Quantization，把参数精度从高位数砍到低位数的工程方法）正在把这道鸿沟填平：3.5GB 的权重就能让 7B 模型跑起来。值得关心的是，这件事的意义不是技术参数，而是 AI 部署第一次有可能彻底脱离云端，让每个企业都能在自己机房跑大模型。

这是什么

大模型为什么「大」，大在两件事：参数量 × 每个参数的存储精度。一个 70B（700 亿参数）的模型用 FP16 存储，光权重就要 130GB。量化思路很直接：把每个参数的精度从 16 位砍到 4 位，体积线性缩小。一个 7B 模型量到 INT4 后只剩 3.5GB，刚好跑得动 8G 显卡。我们认为，这才是「700G 塞进 8G」的真实含义 — 把中小模型压到消费硬件能承受的尺寸。

精度砍这么多，模型会不会变傻？多数情况下不会。原因有三：大模型权重天然集中在 0 附近，误差只影响少数极端值；几十亿参数互相「平均」，单个扰动被稀释；现代方案如 GPTQ（用二阶信息逐层补偿误差）和 AWQ（识别并保护 1% 的关键权重）做了精细工程，不是简单截断。

但代价是有的：数学推理、代码生成这类对精度敏感的任务，INT4 比 FP16 通常差 1~3 个百分点；模型越小，量化伤害越大 — 1B 模型量到 INT4 可能直接变傻。

行业怎么看

乐观派认为这是 AI 普惠的临界点。权重可以下载到本地，数据不出门，部署成本砍到接近零。对受合规约束的行业（医院、金融、政务），意味着不再被绑定在云厂商 API 上。

但我们注意到，冷静的声音也不少：量化营销话术普遍夸大「无损」，真正在生产环境跑过的工程师都知道，INT4 在长上下文、复杂指令下仍有偶发失误；本地部署听起来省钱，但运维、显存扩展、版本管理这些隐性成本不低；更关键的是，量化只利好开源生态（DeepSeek、Qwen、LLaMA），闭源大模型不会开放权重 — 技术民主化只发生在愿意用开源的阵营。

对普通人的影响

对企业 IT：未来一年，「私有化部署大模型」会从尝鲜变合规刚需，能不能搞定量化、推理服务、显存调度，会成为新的考核项。

对个人职场：AI 工程师招聘要求正从「会调 API」转向「会做模型压缩部署」，相关岗位薪资差距正在拉开，但用好 API 仍是大多数人的最优解。

对消费市场：能装进 8G 显存的本地 AI 工具今年会密集出现（离线翻译、本地文档问答、隐私写作助手），「数据不上云」会成为消费级产品的新卖点。