ExLlamaV3
开源社区让 16GB 显卡跑混合专家模型,速度突破每秒两千 token
Reddit 开发者通过 ExLlamaV3 将 Qwen 3.6 35B A3B 的部分专家模块卸载到内存,在 16GB RTX 9070 XT 上实现最高每秒 2606 个 token。它说明本地大模型正在用更细的工程优化换取可用性,但结果依赖硬件与配置,尚未成为普适方案。
找到 1 篇关于此标签的文章
Reddit 开发者通过 ExLlamaV3 将 Qwen 3.6 35B A3B 的部分专家模块卸载到内存,在 16GB RTX 9070 XT 上实现最高每秒 2606 个 token。它说明本地大模型正在用更细的工程优化换取可用性,但结果依赖硬件与配置,尚未成为普适方案。