蒸馏

英伟达 NVFP4 让模型跑得更快，但内部精度悄悄在丢 — 论文指出压缩正在制造隐形损伤

一项 arXiv 新论文发现，用 NVFP4（英伟达 4 位浮点，一种极低精度压缩格式）压缩大模型时，仅让输出匹配老师模型会掩盖内部表征（模型各层对信息的抽象表达）的退化；这意味着低精度推理正在悄悄损害推理和编程能力，值得关心 AI 部署成本与质量平衡的从业者留意。