一个公开测试把 40B 参数模型的本地推理速度推到每秒 64.6 个 token：RustingStrata 在 12GB 显存的 RTX 3060 上，比 llama.cpp 快约 33%，但模型仍需借助 30GB 内存运行。

这项结果值得关注，因为大模型本地部署的瓶颈往往不是显卡算力，而是模型放不进显存后，如何在显卡与内存之间高效搬运权重。它关系到企业能否用现有设备运行更大的模型，也关系到个人搭建私有 AI 工具的硬件成本。

这是什么

Recursive Flint 是一个 40B 参数的混合专家模型。所谓混合专家模型，是指模型为每个问题只调用部分参数，而不是每次动用全部参数。

测试使用的 UD-Q5_K_XL 量化版本约 27.9GB，无法完整装入 12GB 显存。RustingStrata 的改进主要有两处：一是根据当前回答动态安排专家参数的位置，二是释放已经复制到显存的内存页面，减少重复搬运。预热后，它的生成速度为每秒 64.6 个 token，4K 提示词预填充速度约为每秒 1.14至1.30k 个 token。

行业怎么看

我们认为，这项测试证明推理引擎仍有可观优化空间，也说明硬件升级并非唯一解。同一张显卡、同一模型，通过调整内存与显存之间的调度机制，就可能获得约三分之一的性能提升。

风险也很明确：这是单一设备、单一模型和特定版本下的个人测试，模型超过显存容量，初始加载和缓存状态都会影响结果。作者称速度提升没有牺牲输出质量，但目前缺少更多硬件、提示词和模型上的重复验证。Flint 是否优于测试者提到的 Qwen3.6:35-a3B，也不能仅凭个人体验下结论。

此外，每秒 64.6 个 token 并不等于所有工作都更快。模型需要 30GB 内存，首轮运行还可能因缓存不足而变慢。对多数企业而言，部署前仍需核算内存、并发量、响应稳定性和总体成本。

对普通人的影响

对企业 IT：推理引擎的调度优化可能延长现有显卡的可用周期，但在生产环境中采用前，仍需进行容量、稳定性与总成本测试。

对个人职场：更大模型可以更私密地处理文档和代码，但“能跑”不等于“好用”，普通电脑仍需接受量化、速度与质量之间的取舍。

对消费市场：本地模型有望减少对高价云端服务的依赖，不过 12GB 显卡搭配 30GB 内存的组合，也说明低成本个人部署尚未完全普及。