量化模型

找到 2 篇关于此标签的文章

IBM 开源 Granite 4.1 小模型，21 个量化版本实验证明瓶颈不在体积

IBM 发布 Apache 2.0 开源的 Granite 4.1 系列。有人用 21 个不同大小的量化版本画鹈鹕，发现质量无差异 — 小模型的能力短板不在压缩精度，在基础能力本身。

RTX 5080 跑本地编程模型引热议 — 消费级显卡开始抢云端 AI 的活

r/LocalLLaMA 社区热议 RTX 5080+64GB RAM 跑量化编程模型的最佳方案。开发者认真考虑把 AI 编程助手从云端搬回家，消费级硬件正成为 AI 编程的新基础设施，值得非技术背景的管理者关注。