这周一个 Reddit 用户的实测数字让我们停下来想:DDR5/PCIe5 比 DDR4/PCIe4 跑大模型预训练只快 15-20%,但同样的预算投在老平台上能多买一张 RTX PRO 6000,整体算力反而高 50%。这件事值得关心,是因为它戳破了一个直觉——"买新不买旧"在 AI 工作站领域不一定成立。

这是什么

原帖作者在 Vast.ai——一个按小时租 GPU 的云平台——上租了两台机器对比:一台用 DDR4 + PCIe4 加单 GPU,另一台用 DDR5/PCIe5 加单 GPU,两台都配 RTX PRO 6000 显卡,区别只在内存代次和 PCIe 通道速度。预训练跑下来,新平台快 15-20%。但内存价格差距同样大——买 256GB DDR5 6400 的钱,够再买一张同款显卡。这意味着老平台可以塞两张 GPU,吞吐量直接高出 50%。

(PCIe 是显卡和 CPU 之间的数据传输通道,版本越高带宽越大;DDR 是内存条,新一代频率更高、价格也更贵。两者共同决定数据喂给显卡的速度。)

行业怎么看

但这个结论也招致了几条质疑:

  • 单一用户、单一测试,可重复性存疑。15-20% 的差距在不同模型、不同 batch size(一次喂给显卡的数据批次)下可能完全不同。
  • 老主板有生命周期风险。原帖提到,Blackwell(NVIDIA 最新一代显卡)已和部分 PCIe3 老主板出现开机兼容问题。再过两年,新显卡可能彻底跑不动 DDR4 平台。
  • 这只测了预训练。推理场景下,DDR5 的优势可能不止 15-20%。
  • 也有用户指出,DDR5 内存价格处于周期高位,等 6-12 个月可能便宜三成,那时结论会反过来。

原作者自己的判断也偏中立:他倾向预训练选 DDR4,但承认未来"动态 expert/data 加载"这类技术会让快内存更值钱。

对普通人的影响

  • 对企业 IT:自建 AI 工作站的成本权衡正在变——同样预算下,老平台加多张卡的吞吐量比新平台单卡高 50%。短期看是划算的赌注,但下一代显卡兼容性可能打破这个平衡。
  • 对个人职场:本地跑开源模型做日常推理这事影响不大;如果想自己微调或训练中等以上规模的模型,选硬件的逻辑要反过来想——多卡比追新更值。
  • 对消费市场:普通 PC 用户几乎无感;这件事主要影响中小企业和开发者自建工作站的决策。云租平台(Vast.ai、RunPod 这类)的定价策略也可能受这股硬件选择变化影响。