AMD
1.8万美元搭4卡本地AI跑Qwen — 10人创业公司发现:不用API更划算
美国一家10人创业公司用1.8万美元搭建4块AMD R9700显卡的本地AI集群,同时服务16个员工运行Qwen 3.8等开源大模型。本地推理门槛正在快速下降,对受合规约束的中国中小企业,这是一个值得关注的信号。
找到 3 篇关于此标签的文章
美国一家10人创业公司用1.8万美元搭建4块AMD R9700显卡的本地AI集群,同时服务16个员工运行Qwen 3.8等开源大模型。本地推理门槛正在快速下降,对受合规约束的中国中小企业,这是一个值得关注的信号。
R9700 出现单槽水冷方案,目标是让 4 至 6 张显卡在同一机箱内低噪运行。它有望让本地模型多卡部署更紧凑,但是否能降本,仍取决于售价、功耗和散热实测。
一位 Reddit 玩家用两张 AMD 新出的 R9700 显卡搭了一台能本地跑 270 亿参数模型的机器。这不只是 DIY 圈的事:AMD 第一次有了能和 NVIDIA 在 AI 算力上掰手腕的消费级产品,但 6300 美元的入门价说明这条路还远未到平价。