一位 Reddit 用户犹豫两年终于下单:买 2 张 AMD 显卡组成 64GB 显存双卡机,用 llama.cpp(本地运行大模型的开源工具)跑开源模型。硬件价格两年纹丝没动,本地 AI 至今不是省钱选项。

这是什么

我们注意到,这不是新模型发布,而是一份真实消费场景的成本清单。64GB 显存足以在家本地跑中等规模开源大模型,相当于一个不联网的 ChatGPT Plus。提问者还纠结于 PCIe 通道代次(Gen 4 与 Gen 5 在多卡推理时的带宽差异)和 DDR4 与 DDR5 内存的价格落差——前者便宜但主板选择少,后者性能好但 RDIMM(服务器级内存条)贵得离谱。

行业怎么看

支持本地化的一方认为,数据隐私与定制化是企业刚需,AMD 是 NVIDIA 之外的真实备选,社区会持续优化。

反对意见更值得听:云端 API 价格这两年持续下行,每百万 token 已降到几分钱,自建硬件的回本周期被无限拉长。DDR5 RDIMM 内存至今价格高企,所谓「省钱」只是幻觉。更关键的是,多卡 PCIe 代差带来的实际推理损失,社区里至今没人给出权威数据——这本身就说明门槛之高。

对普通人的影响

对企业 IT:本地部署的数据合规优势存在,但综合硬件与运维成本,目前只适合金融、医疗等强监管行业。

对个人职场:在家跑 AI 仍是少数极客的玩具,离「每个人电脑都能跑大模型」还很远。

对消费市场:硬件价格不降,AI 红利短期不会平摊到个人,云端订阅仍是普通人接触 AI 的主流入口。