一张 RTX 3060 12GB 显卡，在 RustingStrata 优化下跑起 80B 模型并达到约 64 token/s，这组测试释放了一个明确信号：本地大模型的竞争，正在从参数规模转向内存与调度效率。

这是什么

这次测试覆盖从小参数到 177B 的多个 Qwen 模型，使用 RustingStrata 与 llama.cpp（用于在本地运行大语言模型的开源推理工具）在同一台电脑上背靠背比较。

结果是：小模型阶段，llama.cpp 的预填充速度更快；当模型大小超过 12GB 显存后，RustingStrata 的优势开始出现。35B、80B 和 177B 模型的预填充速度约提升至 1.5 倍，部分模型的解码速度最高接近 2 倍。所谓预填充，是模型读取并处理输入上下文的速度；解码则是模型逐字生成回答的速度。

行业怎么看

我们认为，这组结果值得关注，但还不能视为全面性能结论。测试只有两次运行，模型、量化格式和参数设置各不相同；而且设备处于浏览器、Discord 等程序同时运行的日常桌面状态，数据更接近真实使用，而非实验室环境。

另一个风险是，RustingStrata 开启 MTP（推测式并行解码，用多个候选结果加速生成）后，35B 模型的解码速度可升至约 160 token/s，但测试关闭了这一功能。因此，实际增益会受到软件配置、上下文长度和硬件状态影响。手工调优后的 llama.cpp 在 35B 模型上也达到约 2236 token/s 的预填充和 68 token/s 的解码，说明竞争仍在持续。

对普通人的影响

对企业 IT：本地模型的部署成本可能下降，尤其是显存有限、需要运行较大模型的企业。但评估时不能只看单卡跑分，还要看稳定性、运维复杂度和数据安全。

对个人职场：消费者级显卡运行更大模型，意味着个人可以处理更长的内部文档、代码和业务材料，减少把敏感数据交给云服务的必要，不过速度提升并不等于使用体验自动达到云端水平。

对消费市场：模型量化与内存调度正在成为新的产品差异点，显卡、整机厂商和本地 AI 软件之间的边界会进一步模糊；普通用户最终买到的，可能是更完整的本地模型体验，而非单一硬件参数。