一名 Reddit 开发者披露:在 16GB 显存的 RTX 9070 XT 上,通过 ExLlamaV3 卸载混合专家模型的部分专家模块,Qwen 3.6 35B A3B 的预填充速度最高达到每秒 2606 个 token,32K 上下文时约为每秒 2000 个 token。我们注意到,真正值得关心的不是单项跑分,而是本地大模型的门槛正从“需要昂贵显卡”转向“通过软硬件配合压榨有限设备”。

这是什么

混合专家模型(MoE,指每次处理输入时只调用部分参数模块的模型架构)通常可以降低推理计算量,但完整模型仍需要较多显存。这名开发者把部分专家参数放入 DDR4 内存,由 CPU 与 GPU 协同计算;同时调整批处理大小、CPU 线程和上下文长度,让显卡一次处理更多请求。

结果显示,批处理大小提高到 5120 后收益明显,继续增加没有进一步提升。CPU 线程设置带来小幅改善,几项实验性开关则出现性能倒退;作者还遇到了核心转储问题。完整测试和图表已发布在 GitHub,但目前主要来自单台设备和单次配置实验。

行业怎么看

我们认为,这类优化的意义在于扩大本地模型的可运行设备范围。显存不够时,把冷门参数留在内存,相当于用速度换容量,可能让个人开发者和小团队以较低硬件成本部署较大模型。对云端模型而言,这类方案也提供了另一条思路:不一定每次都把所有模型参数放在高速计算设备上。

风险也很清楚。CPU 与内存之间的数据搬运会带来延迟,测试结果高度依赖显卡、内存带宽、上下文长度和批处理方式;开源社区中的单次跑分不能直接等同于稳定产品能力。部分参数开关还会导致程序崩溃,开发者需要自行排查。换言之,它更像一条可用的工程路径,而不是已经成熟的消费级方案。

对普通人的影响

对企业 IT:混合专家模型的本地部署门槛可能下降,预算有限但数据不能外流的团队值得测试;不过,稳定性、运维复杂度和总持有成本仍需单独核算。

对个人职场:开发者可以用单张消费级显卡搭出更强的私有模型环境,但速度提升主要出现在高并发批量处理,普通交互是否更快仍要看模型大小与上下文。

对消费市场:本地模型能力提升可能推动“离线文档处理、代码辅助”等功能进入个人电脑,但现阶段更适合技术用户,不宜把社区跑分视为大众产品承诺。