Qwen 让 35B 模型在 3090 上跑起来了 — 本地 AI 硬件门槛降了，速度还卡

这是什么

本周 Reddit 上一个具体问题让我们注意到：网友想用 2020 年发布的 RTX 3090（24GB 显存）跑通阿里 Qwen 的 35B 参数 MoE 模型（混合专家架构，即模型内部拆成多个子网络，每次只激活一部分；A3B 表示单次激活约 30 亿参数）。他试了 Strata、llama.cpp（开源推理引擎）等工具，结果是：装得下，但速度慢到无法使用。

我们的判断：3090 是四年前的旗舰显卡，如今仍能装下 35B 模型，意味着本地 AI 的硬件门槛被显著拉低——只是体验门槛还卡着。

行业怎么看

看好的一方：Qwen、DeepSeek 等中国团队押注 MoE 架构，本意就是「参数总量大、单次激活少」，以此降低推理成本。开源推理引擎（llama.cpp、vLLM）本周密集更新，都在补 MoE 优化的课。

但反对意见同样真实：网友吐槽说明「跑得动」不等于「跑得快」。当前在 3090 上生成速度只有每秒几个 token（模型处理文字的最小单位，约等于一个汉字），远谈不上可用。换句话说，硬件门槛在降，体验门槛还卡着。

对普通人的影响

对企业 IT：想自建本地 AI 替代部分云服务的中型企业，可用一张二手 3090（约 1500 元）做最小化验证；进入生产仍需多卡或 4090/5090。

对个人职场：普通白领短期内无需折腾——本地大模型仍依赖命令行，不如直接用网页版 ChatGPT、通义、DeepSeek 方便。

对消费市场：若推理速度在未来 1-2 年内解决，可能催生「家用 AI 主机」新品类，类似当年的 NAS（家庭网络存储）或迷你主机潮。