消费级显卡

27B 模型被量化压进 16GB 显卡 — 本地 AI 开始蚕食云端 API 生意

Reddit LocalLLaMA 板块本周流传一份技术帖：有人把阿里 Qwen 27B 模型通过 IQ4_XS 量化压缩，跑进了 16GB 消费级显卡。原本需要专业卡才能加载的大模型，第一次能躺在普通工作站里。本地化部署的经济性正在被改写。