AmazonAmazon 让云端大模型缓存路由更精准 — 推理成本竞争进入细节阶段Amazon SageMaker AI 新增按实际缓存状态分配请求的路由机制,目标是减少重复计算、降低延迟与推理成本。它显示企业部署大模型的竞争,正从模型参数规模转向算力调度和成本效率。11月18日·3 分钟·AI财经周刊·aws.amazon.com