INT4 Quantization

找到 1 篇关于此标签的文章

在 vLLM 上运行 Gemma 4 26B-A4B：社区故障排查笔记

开发者报告在 vLLM 上部署 Gemma 4 26B-A4B 结果不一，DGX Spark GB10 上的 INT4 量化版本速度过慢。