LocalLLaMA 论坛这周一个帖子被反复顶起:阿里开源模型 Qwen 的 27B 和 35B-A3B 两个版本,到底哪个写代码、抓网页、调工具更强。提问者挖了一圈没找到任何公开基准。事情本身比答案更值得我们关心:本地大模型已经从极客玩具滑进生产工具,但选型依然靠猜。
这是什么
阿里最近密集发布小尺寸开源模型,主打"普通显卡能跑"。两个版本参数不同、量化方式也不同(量化=压缩模型体积的小技巧,文件越小跑得越快,效果会打折):27B 用 IQ3_XXS(极致压缩),35B-A3B 用 Q4_K_M(轻度压缩)。理论上压缩越狠速度越快,但具体在代码、抓数据这类"干活"任务上掉多少,没人公开测过。
行业怎么看
本地大模型社区目前分成两派。一派觉得参数大就是正义,35B 比 27B 强没悬念;另一派觉得量化方式比参数更重要,IQ3 这种激进压缩在代码任务上经常掉链子。但更值得听的反对声音是:光看模型大小没用,真正决定能不能"干活"的是底层训练数据分布,而这部分阿里没披露。换句话说,用户在裸奔选型号。
对普通人的影响
对中小企业 IT:现在确实能在自己服务器上跑一个能写代码、抓数据的 AI 了,但选型阶段没有可信基准,意味着试错成本不低,预算 10 万以下慎入。
对个人职场:非技术读者可以略过这段,但要知道一件事 — 公司里如果有人在折腾"本地 AI",大概率就在纠结这种型号选择题。
对消费市场:暂时没影响。手机上的 AI 助手仍然是云端大模型,本地化进入消费级还要再等两到三年。