这是什么

这周 r/LocalLLaMA 上一篇帖子让我们注意到本地 AI 圈子的一个日常：把退役矿卡修一修、加个风扇，跑 Hermes 这类开源模型。帖子里用游戏化、玩梗的语气写——"Mr.Hermes" 是社区对 Nous Research 开源的 Hermes 模型的拟人化叫法，"mines" 则呼应 2017-2018 那波 GPU 挖矿潮退场后流入二手市场的矿卡。

这看起来是个段子，本质是一个判断：跑大模型这件事，正在从"只有大公司付得起云端账单"向"愿意折腾的普通人也能搞"的方向移动。Hermes、Llama、Qwen 等开源模型参数到 70B 级别，一张像样的二手显卡就能跑出可用速度。

行业怎么看

支持者把本地部署视为"AI 民主化"的真正落地：数据不出门、订阅费为零、调参自由。r/LocalLLaMA 长期保持活跃，社区成员互相分享量化（把模型精度从 16-bit 压到 4-bit）、硬件兼容、模型微调的脚本，某种意义上形成了云厂商之外的一条独立供给线。

反对意见更值得重视：本地跑的"总拥有成本"从来不是只算显卡钱——24 小时运转的电费一年能到几千元，散热、驱动、版本切换的隐性时间成本更高。多数普通用户折腾两周后还是会回到 ChatGPT、Claude 这种托管服务。对企业来说更棘手：本地部署意味着没有 SLA（服务等级承诺）、没有合规护栏、没有版本管理，IT 部门接不住的话就是个隐患。

对普通人的影响

  • 对企业 IT：可以选一两个内部场景做本地 LLM 小试点，比如合同摘要、内部知识检索，预算控制在"一张中端显卡 + 一个工程师人力"，但不要当主力生产工具。
  • 对个人职场：愿意花一两周学量化、装环境、写 prompt 的能省订阅费还保护隐私；不愿折腾的，把云端订阅用满就是最划算选择。
  • 对消费市场：二手矿卡价格回升是真实信号——AI 算力需求外溢到了消费硬件，但短期内不会演变成"家家跑大模型"，云端 API 仍是主流。