AWS 给出一组生产数据:其航班运营 Agent 处理 23MB JSON 时,令牌消耗最多下降 71%,平均延迟最多下降 80%。我们认为,这意味着企业 Agent 的落地瓶颈正从“模型够不够聪明”转向“系统会不会管理上下文”。
这是什么
Flightscape 是面向航空公司的运营平台。AWS 为其培训排班优化 Agent 接入 40 多个工具,模型需要核对机组训练安排、排班和资源分配。问题在于,每次调用工具都会把完整 JSON 数据放进模型上下文(模型一次能处理的文本范围),多轮对话后,数据量与响应时间持续累积。
AWS 随后加入自定义状态、缓存等工程机制,让 Agent 保留必要的计算结果和摘要,而不是反复传递全部原始数据。测试结果并非所有场景的固定降幅,但已说明大模型之外的架构设计直接影响成本、速度与可靠性。
行业怎么看
我们认为,这一案例的价值不在于某个云产品,而在于它暴露了 Agent 规模化的真实成本结构。当 Agent 连接几十个工具、处理企业核心数据时,模型调用只是最后一环,数据筛选、状态管理和缓存往往决定账单与体验。
风险也相当明确:减少上下文意味着模型看到的信息更少,可能影响复杂判断。摘要若遗漏关键字段,缓存若未及时更新,也会产生错误结果。AWS 披露的是特定 23MB 载荷下的基准测试,不能直接外推到所有企业工作流;生产部署仍需用业务规则校验结果,并核算优化后的总成本。
对普通人的影响
对企业 IT:企业采购 Agent 服务时,成本评估应从模型单价扩展到上下文管理、工具调用和延迟。能把复杂业务数据接入系统,同时控制重复传输的团队,更可能获得稳定回报。
对个人职场:随着 Agent 承担排班、核对和分析等流程,职场工具的竞争会转向结果是否可追溯、响应是否及时,而不只是回答是否流畅。业务人员也需要参与定义校验规则。
对消费市场:面向消费者的 AI 服务若要处理订单、行程等大量结构化信息,成本优化最终可能带来更低价格或更快响应;但涉及退款、资格判断等关键结果时,仍不能只依赖模型自主决定。