Basalt
Basalt 让 27B 模型在 5090 上跑到 776 token,本地 AI 继续压低部署门槛
开源项目 Basalt 发布 0.4.0,加入多模型路由、文件与视频支持,并以量化方式运行 Qwen 3.8 27B。其结构化输出速度最高达 776 token/s,值得关注的不只是跑分,而是本地大模型正变得更易用、更便宜。
找到 1 篇关于此标签的文章
开源项目 Basalt 发布 0.4.0,加入多模型路由、文件与视频支持,并以量化方式运行 Qwen 3.8 27B。其结构化输出速度最高达 776 token/s,值得关注的不只是跑分,而是本地大模型正变得更易用、更便宜。