一个 Reddit 用户这周用两张二手 AMD MI50 显卡跑出了 35B 参数级别的大模型:32GB 显存,硬件成本不到 300 美元。这件事值得关心,是因为它意味着被主流市场淘汰的数据中心 GPU(专业计算加速卡),正在悄悄成为本地跑 AI 的低成本选项。
这是什么
帖子作者搭建了一个双 MI50 平台。MI50 是 AMD 2018 年的数据中心产品,现已停产,二手市场 16GB 版本不到 150 美元一张。两张卡合计 32GB HBM2 高速显存、约 2 TB/s 带宽。他用 llama.cpp(开源本地大模型推理工具)的 Vulkan 版本,跑了一批 27B–35B 的开源模型。
亮点在 MoE 模型(Mixture of Experts,"混合专家"架构,每次推理只激活部分子网络)。Qwen3 35B-A3B 在 prompt 阶段跑出 983 tokens/s(每秒生成的文本片段数),生成约 47 tokens/s;Qwen3 27B 这种稠密模型(每次全参数参与)在 167/17 左右。
行业怎么看
支持者把这看作"算力平权"的信号:退役数据中心卡不再只能拆解报废,而是能跑通主流开源模型,对预算有限的中小团队和个人玩家意义明显。
反对意见同样存在。资深玩家提醒,MI50 缺 NVLink 之类的高速多卡互联协议,双卡靠 PCIe(主板扩展总线)拼接,扩展到四卡以上几乎不可行;AMD 在 ROCm 等软件生态上明显弱于 NVIDIA,遇到问题常要自己翻源码、修驱动。"硬件便宜"不等于"用得起来",这是行业里反复被验证的常识。
对普通人的影响
- 对企业 IT:自建推理(让模型在本地运行、不走云端 API)的硬件门槛从过去的几千美元降到几百美元,测试和小规模生产不再完全依赖云服务。
- 对个人职场:技术爱好者能以极低成本体验本地大模型,但"能跑通"和"能稳定用"之间还有明显距离,对非技术岗意义有限。
- 对消费市场:短期不会改变消费级 GPU 格局——打游戏、视频剪辑仍是 NVIDIA、AMD 主流卡为主——但可能催生一批小厂牌的"本地 AI 工作站"组装方案。