bitsandbytes

量化大神 Tim Dettmers 预告新招：单机 7t/s 跑大模型 — 业内谨慎观望

bitsandbytes 库创始人 Tim Dettmers 公开一种新模型量化方法,号称让智谱 GLM 5.3 在单台 DGX Spark 工作站跑到 7 token/s。若属实,大模型部署硬件门槛将被大幅压低;但 Reddit 社区明确提醒:量化领域'画大饼'的传统深厚,需要等实测。