AWQ

找到 3 篇关于此标签的文章

8G 显卡也能跑 70B 模型了 — 量化技术把 AI 本地部署的成本砍到底

8G 显存的 4070 显卡，过去装不下 130GB 的大模型权重；现在靠量化技术，3.5GB 就能跑 7B 模型。这件事的真正意义不是技术参数，而是 AI 部署第一次有可能脱离云端，让每个企业都能自己跑。

Qwen3.6 的一组新量化测试显示，27B 和 35B 级模型可以在约 19GB 到 23GB 权重体积下，尽量接近 BF16（16 位浮点基线）的输出表现。这值得关心，因为大模型竞争正在从“谁更强”转向“谁更容易被企业真正跑起来”。

Reddit 用户晒出 MiniMax M2.7 本地量化运行时编造 URL 后立刻自嘲圆场的截图。小模型能"认错"不是元认知，但训练数据中纠错模式的渗透正在改变用户对 AI 交互的体感。