返回首页

Global Inference Gateway

找到 1 篇关于此标签的文章

Amazon SageMaker HyperPod

AWS 打通跨区域 GPU 集群闲置算力,推理调度更接近云化

AWS 为 SageMaker HyperPod 推出 Global Inference Gateway,用一个入口跨集群、跨区域分配推理请求,并自动绕开故障节点。它解决的是大模型推理中算力已有却难充分利用的问题,核心价值在降低调度与运维复杂度,而非单纯增加算力。

11月21日4 分钟AI财经周刊aws.amazon.com