一名开发者把 Google 的 Gemma 4 26B-A4B 裁剪至原体积的 15%，在单一分类任务上与原模型仍有 92% 的一致率，同时把内存占用降至约 3.8GB。这个结果值得关注：模型部署开始从追求“什么都能做”，转向把有限能力集中到少数高价值任务。
这是什么
Gemma 4 26B-A4B 采用混合专家架构（MoE，指模型为每个输入动态选择部分参数参与计算）。原模型每层可调用 32 组专家，开发者最终固定每层使用 8 组，使参数规模从约 260 亿降至 38.1 亿，并移除负责选择专家的路由模块。
裁剪后的模型在作者设计的分类任务上表现接近原版，与较小一档的 12B 模型一致率为 90%。在 Mac 上，它每秒生成 79 个 token，约为 12B 版本的 2 倍，内存占用约减半。不过，知识型任务因相关参数被删除而明显退化，它并不是通用模型。
作者还提出一种“区块局部训练”：不直接训练最终答案，而是让裁剪后的模型学习保留原模型的处理过程。该方法据称可在约 5GB 内存的个人设备上训练，但尚未在真实用户设备上验证。
行业怎么看
我们认为，这项实验释放了一个清晰信号：端侧模型的商业价值更可能来自专用化，而非通用能力竞赛。固定运行内容审核、意图识别或设备指令处理等任务，可以减少内存、能耗和响应时间，也能降低企业为少数任务购买大规模算力的成本。
风险也很明显。92% 的一致率来自作者的单一任务和自选数据，不能外推到其他场景；裁剪过程耗时，且需要任务数据与测试集设计。被删除的知识可能影响复杂问题处理，而设备本地训练目前仍停留在开发者验证阶段。作者本人也承认，保留哪些专家的方法仍有改进空间。
因此，这不是“多数模型都可以删掉 85%”的证明，而是一个值得复核的工程样本。它提示模型压缩仍有空间，但离低成本、标准化产品化仍有距离。
对普通人的影响
对企业 IT：长期运行的内部 AI 助手可优先评估专用小模型，以降低服务器、内存和能源成本，同时减少敏感数据上传云端的需要。
对个人职场：本地分类、摘要和文档处理工具可能更快、更省资源，但选型时应按具体任务测试，不能用单一准确率替代整体评估。
对消费市场：手机、电脑和穿戴设备将更容易承载全天候 AI 功能，设备价格与订阅费用存在下降空间，但专用体验会先于全能助手成熟。