开源开发者将 AMD 显卡运行大模型的解码速度提高了约 10%—20%，部分代码任务最高提升 23.9%。我们认为，这一进展说明本地模型正在从“能跑就行”进入性能与成本都可认真比较的阶段。

这是什么

这次更新针对 Strata EXL3——一个用于压缩并加速本地大模型的开源量化分支。量化可以理解为减少模型参数占用的空间，以更低内存和算力成本运行模型。作者优化了 AMD HIP（显卡计算接口）内核和内存管理，并加入 CPU 辅助处理专家权重。

在 Ryzen 9 7950X、96GB 内存和双 Radeon RX 7900 XTX 显卡上，4.05 位权重的代码测试从每秒 61.88 个词元升至 76.67 个，增幅 23.9%。作者还实验性支持了 MiMo V2.6 Flash，在双卡上达到每秒约 25—30 个词元。

行业怎么看

值得关注的是，这并非单纯提高输出速度，而是让较低位数的量化模型更接近较高位数的效果。EXL3 的 3.05 位版本据称接近常见 4 位量化的质量，同时保留接近 3 位量化的运行效率。

但风险同样明确：测试来自单一开发者、固定硬件和特定工作负载，不能直接外推到所有 AMD 设备或模型。MiMo 支持仍属实验阶段；CPU 辅助在双卡配置下反而可能降低效率。它更适合技术团队评估特定场景，而非成为普遍性能承诺。

我们更倾向把它看作开源基础设施进步，而非 AMD 生态已经全面追上闭源推理方案。软件优化能改善成本，但硬件兼容性、部署门槛和可复现性仍是企业采用门槛。

对普通人的影响

对企业 IT：敏感数据较多、需要稳定离线服务的团队，现在多了一条评估本地模型的路径。不过，进入生产前仍需验证延迟、功耗、模型质量与维护成本。

对个人职场：更快的本地推理意味着处理代码、文档和内部资料时，隐私与响应速度可以兼得，但安装和调优门槛仍高于云端聊天产品。

对消费市场：显卡与整机厂商可能逐步提供更完整的本地大模型体验，设备价值不再只由算力参数决定，也取决于软件能否充分释放性能。