一张约 3 万元、拥有 32GB 显存的 RTX 5090,可能装不下你想运行的本地大模型。这件事说明:本地 AI 硬件的竞争,已经不只是显卡算力的较量,而是内存容量、带宽与模型架构的匹配。

这是什么

文章对比了 RTX 5090 与搭载 AMD Ryzen AI Max+ 395 的迷你电脑。前者单精度算力约为后者的 7 倍,显存带宽也高达 1792GB/s;但后者拥有 128GB 统一内存,即 CPU 和 GPU 共用的大容量内存(系统内存可分配给处理器使用),更容易容纳大模型。

模型装得下,不代表跑得快。以 40GB 权重、每次只生成一个词元(Token,模型生成文本的最小单位)为例,AMD 方案受 256GB/s 内存带宽限制,理论上每秒只能完整读取权重约 6 次;更长的提示词还会受到较低算力拖累,读一份 4000 词元的文档就可能需要 40 多秒。

混合专家模型(MoE,一种只激活部分参数参与计算的大模型架构)改变了这一取舍。Qwen3-30B-A3B 总参数约 305 亿,但每个词元只激活约 33 亿参数,因此能以更低成本运行在统一内存设备上。

行业怎么看

我们认为,文章最重要的判断是:买最贵的独立显卡,不等于获得最好的本地 AI 体验。对于重视容量、功耗和设备体积的用户,统一内存迷你电脑可能更实用;对于追求生成速度和处理长提示词的用户,高带宽、大显存的独立显卡仍有明显优势。

但“统一内存将成为赢家”仍缺乏足够依据。MoE 模型的可用速度不仅取决于激活参数量,还取决于内存访问效率、框架优化、并发方式和散热条件。此外,文章引用 DeepSeek V4.1 Flash 1017 版时,只按 16B 激活参数和 4 位精度估算速度,这种理论计算不能替代真实设备上的端到端测试。

对普通人的影响

对企业 IT:如果员工需要在本地处理敏感文档,先评估模型能否装入内存,再看生成速度和长文本表现;不要把显卡价格直接等同于生产力。

对个人职场:运行本地模型会占用大量内存与算力,配置不足时容易拖慢办公软件。MoE 降低了入门门槛,但并不等于普通电脑都能获得云端模型同等速度。

对消费市场:“一台设备运行超大模型”会持续刺激迷你电脑、Mac Studio 等产品;不过,模型更新速度、量化支持和实际吞吐量,可能比宣传中的参数量更值得比较。