这是什么

Reddit 的 LocalLLaMA 社区这周有一条讨论度不低的帖子：用户 NickCanCode 尝试用两张消费级显卡（比如两块 RTX 4090，合计 48GB 显存）跑阿里通义千问 Qwen3 的 270 亿参数量化版本。他用的是 llama.cpp——目前最主流的开源本地大模型推理工具。怎么调整 tensor-split 参数（控制模型权重如何在多张卡之间切分），都至少有 1GB 显存用不上。微调权重像踩跷跷板：参数往左偏一点，左卡显存暴涨，右卡反而掉得更多。

他怀疑问题出在 MTP（多 token 预测）相关的张量并行计算被压在了一张卡上。评论区也指出，多模态投影器这类附加组件的显存占用很难精确预测，整数百分比精度的 tensor-split 也不够细。

行业怎么看

本地部署圈对这类踩坑并不陌生。llama.cpp 的多 GPU 调度逻辑一直被评价为「能跑但不够优雅」，尤其是涉及草案模型（用于加速推理的小模型）和视觉模块的时候。但也有声音认为这是「小众问题」：大多数本地玩家只用单卡，或者干脆买 48GB 单卡（如 RTX 6000 Ada）来绕过分卡。

反对意见同样值得听：开源社区的情绪容易被技术挫败感放大。一位资深开发者留言说，当本地部署要花几个小时调参数，「省钱」的优势就消失了——云端 API 这两年在体验和价格上都在快速改善。更现实的判断是：本地 AI 是极客的玩具，不是企业的默认选项。

对普通人的影响

  • 对企业 IT：除非有数据合规硬约束，否则继续用云端 API 比养一支本地推理运维团队划算得多。
  • 对个人职场：「在自己电脑上跑 AI」听起来很酷，但 2026 年的现实是——多数笔记本跑不动，看懂上面这些参数就更难。
  • 对消费市场：NVIDIA、Apple、Ollama、LM Studio 都在把这件事变简单，但目前只对入门级模型有效。想跑百亿参数以上？准备好踩坑。