ExLlamaV3
开源社区让 16GB 显卡跑混合专家模型,速度突破每秒两千 token
Reddit 开发者通过 ExLlamaV3 将 Qwen 3.6 35B A3B 的部分专家模块卸载到内存,在 16GB RTX 9070 XT 上实现最高每秒 2606 个 token。它说明本地大模型正在用更细的工程优化换取可用性,但结果依赖硬件与配置,尚未成为普适方案。
找到 4 篇关于此标签的文章
Reddit 开发者通过 ExLlamaV3 将 Qwen 3.6 35B A3B 的部分专家模块卸载到内存,在 16GB RTX 9070 XT 上实现最高每秒 2606 个 token。它说明本地大模型正在用更细的工程优化换取可用性,但结果依赖硬件与配置,尚未成为普适方案。
一名开发者在单张 16GB 显存的 RX 9070 XT 上,通过混合专家模型卸载与量化,将 128K 上下文任务的预填速度做到每秒约 1200 token。结果表明,高端显卡之外,普通硬件也能运行更接近实用的本地模型,但测试条件和规模仍有限。
一项覆盖 35 种权重量化、3 种推理引擎及最高 6.4 万 tokens 上下文的测试显示,Qwen3.8 27B 使用 8 位 KV 缓存几乎不损失输出质量,却能将缓存占用减半;4 位方案会随上下文增长明显偏离原模型。
两个300亿参数的MoE大模型,最近被开源社区工程师装进一台128GB内存的AMD小主机,生成速度达到每秒30-44个token。真正值得关心的不是参数,而是过去要堆几张H100才跑得动的模型,现在一台万元桌面设备就能承担。