这周 Hugging Face 上一个跑出 70 款开源'决策小模型'的横评告诉我们一件事：用 Qwen 与 Gemma 微调的小尺寸模型，本地跑分类已经能扛起 AI 系统的分流活，最快的响应压到了 50 毫秒内。所谓'决策小模型'（decision model），是专门做零样本分类（zero-shot classification，即不靠训练样本直接给新类别打标签）的轻量模型——不负责聊天，只负责'这一段话该送给哪个 Agent 处理'，是 Agent 系统里成本最高也最隐蔽的一道工序。

这是什么

横评是开发者自发做的，把 70 款开源模型丢进同一个分类任务里比准确率与延迟。前三被阿里 Qwen 和谷歌 Gemma 家族包揽。其中基于 Gemma 12B 量化（把模型权重压成低精度以减小体积）到 Q8 的 Winnow-12 排第九，响应 32-50 毫秒——比不少云端 API 还快。重要的是，这些模型一张消费级显卡就能跑，企业机房里的旧机器也撑得住。

行业怎么看

看好的一方（开源社区与做应用的人）说这是'AI 平权'——小企业终于不用把客户数据喂给硅谷巨头。但也有反对意见值得警惕：横评只测了干净的分类任务，真实业务里数据脏、长尾多，这是工程界老问题；70 款里真正在企业生产环境跑过的寥寥无几，'基准分高 + 跑得快'不等于'业务能上线'。还有一个隐忧：Qwen 和 Gemma 是中美两家主力，权重随时可能被出口管制收紧，押注单一来源有断供风险。

对普通人的影响

对企业 IT：选型逻辑变了。以前判断'上不上 AI'看 API 价格，现在要算'自托管 vs 云端'的总成本，小模型成熟让私有部署第一次有性价比可言。

对个人职场：做内容审核、客户分群、工单分类这类规则化判断的岗位，会先被'小模型流水线'挤压——不是 AI 取代你，是身边会调模型的人取代你。

对消费市场：还远。这类技术目前是给开发者用的，普通人要等集成进 SaaS 工具之后才能摸到。