ShimQuant

大模型号称能跑 16GB 显卡？一个人挖出'假压缩'，现成工具都用不了

NVIDIA Nemotron 一直宣传能在 16GB 显卡上跑，本地 AI 圈等了几个月没人做到。一个开发者深扒 443 个文件，发现不是模型不行，是压缩工具的 bug。他做了补丁，代价是 LM Studio 这些现成客户端都用不了。