Ternary Bonsai 2
27B 大模型本机推理提速 2 倍 — 开源社区开始做云厂商的活
开发者微调'猜测小模型'，让 27B 大模型在 L4 显卡提速 2.2 倍、Mac 提速 1.5 倍、浏览器提速 1.2 倍。开源社区正在补齐本地 AI 与云端服务的体验差距。
返回首页
PrismML
找到 2 篇关于此标签的文章
Bonsai-27B
Bonsai-27B 追上主流推理框架，1比特模型开始从能跑走向可用
89.5% 与 94.6% 这两个数字，说明 Bonsai-27B 的重点不是刷新能力上限，而是把低成本模型真正塞进现有部署链路。值得关心的是，1 比特与三值量化模型正从“实验品”变成企业可测试的选项。