顶尖 Agent 在真实世界基准测试中的得分常常低于 50%。这个数字说明，AI 助手已经会展示复杂流程，却仍有一半左右的真实任务无法可靠完成。

这是什么

Agent（能自主拆解任务、调用工具并执行多步操作的 AI 系统）与普通聊天机器人不同：一次订票任务可能包含查询、比价、填写和支付，任何一步出错都会让结果失效。

因此，Agent 测评（用真实任务检验 AI 系统执行过程与结果的方法）至少要看四件事：任务是否完成、工具和参数是否正确、关键身份及权限是否核实，以及耗时与调用成本是否可控。

自动化评估也开始采用“LLM 当裁判”，即让另一个大模型审查执行记录。但准确率不足以证明裁判有效；如果它对所有样本一律判通过，与人类判断的一致率虽达 81%，实际仍没有识别能力。

行业怎么看

我们认为，Agent 评估正在从模型能力比较，转向生产环境中的可靠性与单位任务成本评估。企业真正关心的是失败能否被发现、错误能否被限制，以及每次完成任务要花多少钱，而不是演示视频里一次成功。

风险也很明确：自动裁判可能偏心或犯错，且“结果正确”不代表“过程安全”。涉及退款、付款和敏感数据时，仅依赖模型自评，可能放大权限滥用或静默错误。更稳妥的做法，是先用人工标注样本验证裁判，再逐步扩大自动化范围。

对普通人的影响

对企业 IT：采购或自建 Agent 时，应要求供应商提供真实场景成功率、错误类型和调用成本，并把身份核验、权限控制与人工确认设为上线门槛。

对个人职场：现成助手更适合先承担低风险、可复核的工作；涉及报销、采购、合同等操作时，应保留人工确认，避免“看起来完成”掩盖过程错误。

对消费市场：能替用户下单、退款和预约的服务会增多，但消费者将更在意失败赔偿、操作留痕和费用透明，而不是只比较模型参数。