这是什么

LocalLLaMA 是讨论本地部署大模型的开源社区。这周一位只有 8GB 显存笔记本的用户发帖吐槽：每次他求推荐 Qwen 9B 这种 90 亿参数的小模型，评论区立刻被「122B A10B 更强」刷屏。我们注意到，这背后是一个被行业讨论忽略的现实：千亿参数模型从硬盘加载都吃力，对他没有意义。

这不是个例。Qwen、Llama、Ministral、Gemma 的 7B-9B 档位，是 Hugging Face 下载量最高的本地模型。它们能在普通 MacBook、游戏本上跑起来，是绝大多数人接触开源大模型的真实入口。

行业怎么看

支持小模型的判断很清楚：当 Anthropic、Google 在卷百万 token 上下文、千亿参数时，Apple Intelligence、Copilot+PC 押注的恰恰是 3B-7B 的端侧模型（直接在设备本地运行、不依赖云端的 AI 模型）。Mistral 去年推出 Ministral 3B，明摆着是冲着「能塞进你手机」去的。

但反对意见同样有力。云端 API（应用程序接口）这两年价格跳水——GPT-4o-mini 处理百万 token 不到 1 美元，Claude Haiku 也便宜。本地部署要算硬件折旧、电费、调试时间，对个人用户未必划算。我们判断更现实的分工可能是：日常问答走云端，敏感数据才跑本地。Reddit 上一面倒夸小模型，也容易让人忽视真实使用成本。

对普通人的影响

对企业 IT：采购模型方案时，「参数越大越好」是错觉。要看推理成本、响应延迟、数据合规三个维度，9B 本地模型在不少场景比 70B 云端更合适。

对个人职场：愿意折腾的人，可以用 Ollama（一键本地部署工具）在笔记本上跑 9B 模型，处理不能上传的内部文档。不愿折腾的，等云端继续降价就好，不必勉强上本地。

对消费市场：未来 1-2 年，AI 手机、AI PC 会把 9B 以下模型内置在设备里。你可能已经在用本地模型，只是没意识到这是「本地跑」的。