GPTQ

找到 2 篇关于此标签的文章

8G 显卡也能跑 70B 模型了 — 量化技术把 AI 本地部署的成本砍到底

8G 显存的 4070 显卡，过去装不下 130GB 的大模型权重；现在靠量化技术，3.5GB 就能跑 7B 模型。这件事的真正意义不是技术参数，而是 AI 部署第一次有可能脱离云端，让每个企业都能自己跑。

一篇 Reddit 技术帖把 GPTQ 量化的核心讲清了：4 比特压缩之所以还能保住模型能力，不是因为损失小，而是因为系统会在量化一个权重后，按相关性补偿其他权重。这值得关心，因为本地部署大模型的成本竞争，越来越取决于这类“省显存但不明显降智”的工程细节。