一名 LocalLLaMA 用户正尝试把两台电脑拼成一套本地大模型算力:主机配备 94GB DDR5 内存、RTX 5070 Ti 与 RTX 3060,另一台只有 64GB DDR4 内存,计划通过 5—10GbE(千兆至万兆以太网)直连,并借助 llama.cpp 的 RPC(跨机器调用推理能力)协同运行大型 MoE(混合专家模型)。我们的判断是,这不是一个新产品的发布,却准确暴露了本地 AI 的现实瓶颈:模型越来越大,内存容量正比算力更早成为天花板。

这是什么

核心思路是把多台设备的 GPU(图形处理器)与内存视为一个计算池。显卡负责密集计算,主机内存则可承担部分模型权重存储;两台机器通过网络通信,由 llama.cpp 等推理框架分担请求和模型层。它本质上不是把内存“合并”成一块,而是让软件知道数据放在哪台机器、何时需要跨机传输。

行业怎么看

值得关注的是,开放推理框架已经允许通过 RPC 扩展本地算力,这让个人用户有机会接近工作室级配置,也降低了企业试验小模型、敏感数据本地处理和推理服务的门槛。风险同样明确:网络延迟会拖慢逐层推理,操作系统与内存标准差异会增加调度复杂度,而且“容量相加”不等于“速度相加”。若频繁跨机搬运模型权重,理论上的 158GB 内存可能很好看,实际速度却不一定胜过一台高内存单机。

对普通人的影响

对企业 IT:多节点推理可用于验证本地模型的容量上限,但生产部署仍要核算网络、故障切换和运维成本,不能只比较硬件总价。

对个人职场:AI 工具正从单台电脑里的本地模型,延伸到多设备协同;懂推理部署和基础网络知识,会逐渐成为技术岗位的实用技能。

对消费市场:高端显卡之外,大内存工作站和多机互联方案可能获得更多关注,但短期内“拼两台旧电脑”仍更像发烧友实验,而非大众产品。