AWSAWS把大模型缓存搬出单台服务器,自托管推理最高省四成成本AWS推出面向自托管大模型的分布式KV缓存技能,可跨GPU服务器复用对话上下文。官方测试显示,推理成本最高降低40%、首字响应时间最高缩短80%,但实际收益仍取决于模型、流量和提示词复用程度。11月21日·3 分钟·AI财经周刊·aws.amazon.com