这周 LocalLLaMA 社区放出一个消息:QUASAR 团队发布了一份 Qwen3-27B 的"极限瘦身版"。

这是什么

瘦身指的是量化(quantization),把模型参数从高精度数字(BF16)压成低精度(NVFP4,一种 NVIDIA 专属的 4 位浮点格式)。代价通常是精度下降,好处是模型体积大幅缩小,跑同一模型所需的 GPU 显存大幅降低。

关键数据:

  • 原版 Qwen3-27B:55.6 GB 显存
  • QUASAR 压缩版:19.7 GB(缩小 65%)
  • GPQA-Diamond 跑分:0.9141 → 0.9091(几乎没掉)
  • AIME26 跑分:1.0000 → 1.0000(完全持平)

比社区其他 NVFP4 压缩方案(unsloth 23.4 GB、Inferact 26.4 GB)还小一截,分数也更高。

行业怎么看

主流声音是积极的:显存从 55.6 GB 降到 19.7 GB,意味着原本要 2 张 H100 才能跑起来的 27B 模型,可能 1 张 NVIDIA Blackwell GPU 就够了。这是企业自部署的直接利好。过去 4-bit 量化被视为"砍性能换体积"的妥协,这次跑分几乎无损,说明量化技术已经过了"勉强能用"的阶段。

但有几点需要警惕:

  • 硬件绑定:NVFP4 是 NVIDIA Blackwell 架构专属,AMD、Intel、老一代 NVIDIA 卡都用不了,是典型的供应商锁定。
  • 测试范围有限:公布的跑分只覆盖 GPQA-Diamond 和 AIME26 两个基准,真实业务场景(长文档、多轮对话、行业术语)的表现未知。
  • 论文跑分漂亮不等于线上稳定:吞吐、延迟、长期运行的鲁棒性都还需要工程验证。

对普通人的影响

对企业 IT:"我们买不起 GPU 跑大模型"的借口,正在被技术一点点掏空。27B 这种中量级选手进入"一张卡能跑"的区间,自建私有大模型的门槛继续下移。

对个人职场:不必懂什么是 NVFP4,但要知道——以后公司自建 AI 工具的账单,可能比现在便宜一个数量级。这会影响你推动 AI 项目时的成本论证。

对消费市场:模型跑得便宜了,AI 应用的定价空间会进一步松动;同时依赖云端 API 的创业公司也会被自部署方案挤压,竞争格局会变。