本周 Reddit 的 LocalLLaMA 板块出现一份榜单：评测所有能在 10-16GB 显存（消费级游戏显卡水平）的显卡上跑起来的大模型，按「日常写作与角色扮演」维度排序。值得我们注意的是，阿里巴巴的 Qwen 3.6 35B-A3B 和智谱的 GLM-4.7-Flash 31B-A3B 两款国产 MoE（混合专家，即按问题类型调用不同子模块）模型都进入了前五。

这是什么

评测者用了六个标准：生成速度（每秒至少 10 个 token，即模型吐字的速度单位）、对话/独白的内在逻辑、多语言处理（葡语、日语、英语）、是否充满陈词滥调（比如「留下长长的影子」「闻起来像臭氧和焦糖」这类 AI 标志性废话）、MoE 与全参数模型的取舍、是否过度拒绝回答（很多模型经过「去审查」处理，即 abliterated/heretic 变种）。结论是 Gemma 4 26B-A4B 第一，Qwen 和 Mistral 系列紧随其后。

10-16GB 显存意味着 RTX 4060 Ti/4070 级别的游戏显卡就能跑，而不是企业级 A100/H100。这把「在家跑 AI」从极客玩具推进到普通玩家也能摸到的范围。

行业怎么看

支持者的判断很清楚：开源小模型已经「够用」了。日常写作、闲聊、简单问答，用 35B 以下的模型完全能跑，速度流畅、不挑硬件。Qwen 和 GLM 能和 Gemma、Mistral 同台竞技，说明中国大模型公司在开源生态里不再是配角。

但评测者自己泼了盆冷水：他用动漫、漫画、影视、音乐做了知识测验，发现 70B、120B 的模型对这些领域的常识都严重不足，「只有 200B 以上才真的装下了这些知识」。前者 30B 就能做到「说人话」，后者依然要靠参数堆叠才能「知道东西」。

更现实的反问是：200B 以上的模型，普通笔记本根本跑不动。「本地大模型」的真正定位是「轻任务可用，重任务依然要靠云」。

对普通人的影响

对企业 IT：开源小模型适合做内部知识库的初稿生成、客服第一轮筛选、文档摘要等「草稿级」任务；但涉及专业领域知识，仍需要联网检索或更大模型兜底，否则幻觉（AI 一本正经地胡说八道）成本会很高。

对个人职场：对律师、医生、咨询等数据敏感行业，「不联网、不上传」的本地模型有了真正可用的选择——尤其是不想被 ChatGPT/Claude/Gemini 读取客户文件的场景。

对消费市场：「AI 跑在你电脑上」正从概念变成消费品，但用户预期需要管理：它能帮你写邮件、改文案、做旅行规划，但别指望它懂你的专业领域。