这是什么
本周 Reddit 的 LocalLLaMA(本地大模型玩家社区)出现一条帖子:用户 ErroneousBosch 现有配置是一颗 i5-12400、64GB 内存、一张 RTX 3060 12GB,想再加一张同款二手卡。机箱限长 9.5 英寸、预算有限、跑的是中小模型(不是 70B 这种巨兽)。问题很朴素:值得吗?
行业怎么看
本地圈的肯定派会答:3060 12GB 是当下性价比甜点卡,二手 1000 元上下,显存够装 7B-13B 模型加上下文。两条 PCIe 4.0 x16 可以并行推理,瓶颈在显存带宽不在 PCIe。
反对意见同样真实:12GB 显存对今天 Qwen2.5、Llama 3.1 这类 32B(320 亿参数)起步的开源模型而言,已严重过时。社区里更主流的建议是——与其再买一张 3060,不如攒钱等 RTX 4060 Ti 16GB,或直接租云端 API。
更深的信号在这里:Meta、国内大模型公司在万亿参数模型上烧钱的同时,本地 AI 玩家还在用 4 年前的中端卡过日子。所谓的「AI 民主化」,距离真正落到普通人家还有相当距离。
对普通人的影响
对企业 IT:想自建机房跑本地 LLM 的中小公司,3060 级别仍是务实选项,但 32B 以上模型基本告别「低成本」路线。
对个人职场:在万元预算内搭一台能跑 7B-13B 模型的「家用 AI 副驾驶」已可行,但别指望它替代云端主力。
对消费市场:上一代 Nvidia 卡价格企稳,说明 AI 算力下沉需求确实存在,但远没到「人手一张」的程度。