一位开发者这周用 8GB 显存的 RTX 4060 显卡成功跑通了千问 35B 级 MoE（混合专家）模型的本地推理——这本身是件大事。但他同时报告，最新的显存缓存优化功能反而把生成速度拖慢了 20-50%，暴露本地 AI 部署「硬件已可、软件未熟」的真实阶段。

这是什么

Reddit 的 r/LocalLLaMA 社区这周一个技术帖引发关注：开发者用 llama.cpp（主流开源大模型推理工具）的最新 PR（开发者合并请求）#29887，在 8GB 显存显卡 + 32GB 内存的家用机器上跑千问 35B 级 MoE 模型。

MoE 模型把一个大模型拆成几十个「小专家」，每次推理只激活其中一部分，所以理论上能用更少显存跑更大的模型。这个 PR 的设计是：把高频调用的专家权重常驻显卡显存，其余放普通内存，号称提速。

实测反过来了——开了缓存后，生成速度从默认的 23 字/秒掉到 12-15 字/秒，缓存开得越大反而越慢。原帖作者直接问「是不是我哪里配错了」。

行业怎么看

本地跑大模型这条线，过去 12 个月肉眼可见变热。千问、DeepSeek、Llama 都在发大尺寸 MoE 模型，RTX 4090 与苹果 M 系列用户都在尝试把云端 API 订阅费省下来。

反对意见值得听：所谓「消费级显卡跑 35B 模型」，目前更多是「能跑」，不是「跑得好」。这位开发者的数据并非孤例，社区里其他跑同模型的网友也反馈类似结果——显存吃紧时频繁把权重在内存和显卡之间搬运的开销，可能比直接访问内存还慢。PR 作者本人也承认仍需优化。

但换个方向看，这个赛道的长期价值很实在：一旦优化到位，企业本地部署私有大模型的硬件门槛会从「几块 A100」降到「一张消费卡」，对数据敏感型业务（金融、医疗、法律）是真实利好。

对普通人的影响

对企业 IT：本地部署大模型的「硬件预算表」现在还不能照着写，按云端 API 报价采购仍更稳妥，建议持续盯这个 PR 的后续。

对个人职场：个人用笔记本跑 35B 模型目前仍属极客玩具，办公场景里每秒 10 几个字的体验不可用，建议再等 1-2 个版本迭代。

对消费市场：下一代 16GB/24GB 显存的消费显卡（预计未来 12-18 个月密集发布）很可能成为「家用 AI 主机」的新基准线，但软件优化还跟不上硬件脚步。