这是什么

开源社区开发者 ByteOtter 这周抛出一组数据：通义千问 Qwen 3.5 4B 模型压到极低精度（IQ2_XS）后，推理得分（reasoning，逻辑推导能力）只有 46.875；用一种叫 QLAB 的方法重新分配每个张量（tensor，模型内部的参数矩阵）的精度后，得分升到 54.688——相对涨 16.67%，体积几乎没变（+0.4%）。

参照来看，全精度 BF16（16 位浮点精度格式）版本的同样测试得分是 78.125。也就是说 QLAB 没让小模型追上大模型，但显著缩小了压缩造成的损失。整个过程没有重新训练、没有 LoRA（轻量微调）、没有剪枝，只动了「精度花在哪里」。

行业怎么看

这是 QLAB 第一次在非 Gemma 模型上跑通。此前作者已在 Gemma 4 12b、Gemma 3 4b 上验证过；本次扩展到 Qwen，覆盖了稠密和 MoE（混合专家）架构——这是一个值得注意的方法学信号，说明「张量级精度再分配」可能是一种通用思路，而不是 Gemma 独有的偶然。

但我们也要提醒三个风险。第一，11 个评测集中只有 8 个提升，知识问答、结构化输出、连贯性反而退步——这是定向强化，不是全面提升。第二，这是个人独立实验，没有第三方独立验证，也没有主流厂商采用。第三，作者自己说得很清楚，这是「类目定向的量化实验」，不是通用模型改进。

如果这套方法被独立复现，本地部署的成本曲线会被进一步压低——同样显存能跑更聪明的开源模型。

对普通人的影响

  • 企业 IT：同样显存下可以塞进更聪明的开源模型，私有化部署和边缘服务器的硬件投入会继续下降。
  • 个人职场：本地 AI 助手从「能跑」走向「好用」，离线、私有化场景会变多。
  • 消费市场：手机和 PC 上的离线 AI 与云端大模型的能力差距进一步缩小，端侧 AI（on-device AI）商业化时间表可能前移。