本周值得关心的不是一个产品发布,而是一个 Reddit 上的真实算账:一位本地大模型玩家手握三张 RTX 5090,还在纠结要不要加一张 AMD 9700 AI Pro 把显存推到 128GB,只为能完整跑下 DeepSeek 新版(一种开源大语言模型)。他的备选方案是买一张 5070 Ti 打游戏、留 5090 干 AI。
这件事的判断是:本地大模型圈正在从"显卡越多越好"的初级阶段,过渡到"显存才是真正的瓶颈"。三张顶卡不够用,意味着本地跑 70B(700 亿参数)级别模型对消费级硬件依然不友好。
这是什么
这位玩家面对的是一个具体的硬件选择题:是用 AMD 显卡凑齐 128GB 显存、忍受 CUDA 与 ROCm(AMD 的 GPU 计算平台,类似 NVIDIA 的 CUDA)混用的麻烦,还是承认"显存为王"、接受局部降级。背景是 DeepSeek 等开源模型参数规模快速膨胀(指模型内部可学习变量越多,能力越强、占用显存也越大),让家用级本地推理越来越吃力。帖子评论区里,有人建议用云端 API,有人建议拆成两台机器分担,也有人直接劝他"认清现实"。
行业怎么看
支持继续堆硬件的一方认为,显存容量直接决定能否装下模型权重(模型参数文件),速度慢一点可以忍,"装不下就是装不下"。反对意见更值得听:一位资深玩家指出,混合多卡在 MoE(混合专家)架构模型上 RPC 加速(用网络协议把多台机器的显卡串起来用)效果很差,dense 模型(所有参数都参与每次计算的密集型模型)才有效;另一位则直言"等下一代消费级显卡才是理性选择,现在烧钱是为焦虑买单"。我们注意到一个被忽视的风险:电费和散热也是隐性成本,三块 5090 的整机功耗已经接近一台小型空调。
对普通人的影响
对企业 IT:本地部署的硬件成本正在倒逼企业重新评估"自建 vs 调用云端 API",小团队硬上 128GB 显存并不划算。
对个人职场:想在本地玩转 AI 的白领,需要意识到这是一项投入上万、回报不确定的爱好,不是工作技能。
对消费市场:显卡二手价格可能继续承压,AI 算力的军备赛短期内不会停,但红利更多流向云厂商与芯片公司。