两台英伟达 DGX Station 就能协同运行一个前沿大模型,但企业获得本地 AI 能力的硬件门槛已明显上移。NVIDIA Developer 展示的是以单一服务入口调用 GLM-5.3,并将模型权重与计算拆分到两套 DGX 系统。
这是什么
这次部署采用 ConnectX-8 RDMA 网络连接两台 DGX Station,再通过 vLLM 进行张量并行:张量并行是把一次模型计算拆到多张 GPU 上协同完成。模型还采用 NVFP4 量化格式,以较低精度保存权重,从而减少显存占用。
核心变化不是模型能力,而是服务方式:即使一台工作站放不下全部参数,也能让多套高端硬件共同承载一个模型,对企业保留数据、控制延迟和统一管理模型具有现实意义。
行业怎么看
我们认为,这一方案会推动“模型规模不再由单机显存决定”,也将利好高速互联、推理软件和服务器运维生态。英伟达展示的组合仍以昂贵专用硬件为基础,跨节点通信也可能带来延迟、可靠性和运维复杂度,vLLM 在真实生产负载中的稳定性仍需验证。
另一个风险是成本错位:模型部署从“购买应用”转向“采购算力、配置网络并持续维护”,可能把一部分企业推向云端服务。若硬件投资无法被高频调用摊薄,自建方案未必比按需付费更经济。
对普通人的影响
对企业 IT:大型模型正进入跨设备部署阶段,IT 团队需要同时评估算力、网络、模型量化和持续运维,预算也会从软件许可扩展到完整基础设施。
对个人职场:企业自有的模型可能更贴近内部资料与流程,文档处理、客服和数据分析会更可靠;但与此同时,部署门槛上升,模型能力未必自动转化为员工效率。
对消费市场:本地推理有望强化隐私型 AI 产品,也让更多厂商能在云端与端侧服务之间切换;不过短期内,高端硬件集中化仍可能推高相关产品的定价。