这是什么

Exo Labs 是一个面向本地大模型部署（即不依赖云端、在用户自己的硬件上跑 AI 模型）的开源项目。本周他们在 Reddit 上披露一项数据：用两台搭载苹果 m5u 芯片、96GB 内存的 Mac Studio，通过 RDMA 技术（让两台机器像共享一块内存一样协同工作）拼成集群后，内存带宽达到 4.8TB/s。

核心说法是「带宽随集群规模线性增长」——加一台机器，带宽就翻一倍。如果属实，意味着用消费级硬件堆集群，可以逼近数据中心专用 GPU 的水平。m5u 芯片 96GB 版本 Mac Studio 售价约 3 万元人民币。

行业怎么看

本地 AI 社区里这消息反响两极。乐观派认为，这是「英伟达税」的解药——不依赖昂贵的 H100/H200，企业也能跑动 70B 以上参数的模型。但反对意见同样明确：

  • 带宽和延迟是两回事。Exo 自己的员工在评论区承认，他们方案真正的瓶颈是延迟（数据在两台机器之间来回传递的时间），不是带宽本身；
  • 4.8TB/s 是峰值还是可持续速度，社区仍在独立测试；
  • 苹果芯片的 CUDA 生态（英伟达显卡的主流 AI 计算框架，等于 AI 领域的通用语言）支持薄弱，多数主流模型没有为它专门优化，跑起来效率打折扣。

一位资深用户在评论区给出的结论是：先买单台 256GB 版本，未来再扩，比赌双机集群更稳妥。

对普通人的影响

对企业 IT：本地跑 AI 第一次有了「不烧钱」的选项。如果方案成熟，对数据敏感（医疗、法律、政务）的中小机构尤其有意义——可以不上云就拥有自己的 AI 能力。

对个人职场：现在还不是消费级玩家进场的时候。3 万元的 Mac Studio 跑 70B 模型，速度仍慢于云端 API（按调用次数付费的在线 AI 服务）。但值得关注——这是趋势的开头。

对消费市场：如果苹果持续推 Mac Studio 集群方案，二手市场会出现一波被淘汰的旧工作站。对算力有刚需的小企业，可以盯着这个窗口。