ClawBench 实测 8 款 Agent 完成日常在线任务,表现最好的 Claude 任务完成率也只有 33.3%,这说明 Agent 已从“能回复”进入“要验收”的阶段。值得关心的问题不再是它会不会说,而是能否稳定把事情做完。

这是什么

Agent 评测(用系统化方法判断 AI 助手能否可靠完成任务)通常分三层:端到端评测看任务有没有完成,过程评测检查规划、工具调用和反思是否合理,能力评测则拆开测试记忆、协作等单项能力。

在具体指标上,任务成功率仍然最关键,但仅看最终回答并不够。订票任务里,系统说“已下单”不算成功,还要核对订单是否真实生成。过程轨迹则用于判断效率、错误调用和人工干预次数。

文章提出的十一维框架覆盖任务成功、输出质量、规划推理、工具使用、自主性、安全对齐、效率、长期记忆及多 Agent 协作等维度。核心作用不是制作一张更长的评分表,而是避免“假成功”。

行业怎么看

我们认为,这一框架会让 Agent 竞争从模型演示转向工程交付。企业采购者会更关心真实任务完成率、调用成本和出错后的回退机制,而不是一次惊艳的演示。

但这不等于 33.3% 就能定义行业水平。ClawBench 覆盖的任务范围、难度和运行条件并不等同于所有企业场景;端到端测试也难以完整反映安全、长期一致性等能力。更现实的风险是,评测指标一旦固化,厂商可能围绕榜单优化,而不是解决实际工作流中的问题。

此外,评测本身成本不低。复杂任务需要人工核对系统状态,过程评分还依赖模型或规则判断,测试环境与真实业务之间也可能存在偏差。因此,公开榜单更适合作为采购线索,不能替代企业自己的验收测试。

对普通人的影响

对企业 IT:企业引入 Agent 时,预算重点会从模型调用转向权限、审计、测试与故障恢复。尤其是涉及订单、邮件或文件操作的系统,需要先定义“什么算真正完成”。

对个人职场:办公助手会更强调交付而非建议,例如直接创建日程、整理文件并跟进事项。不过,涉及发送、删除或付款等动作,关键节点仍需要人工确认。

对消费市场:面向消费者的 Agent 短期内仍难完全托管复杂事务。更可能普及的是具备清晰边界、失败可撤销的单一任务助手,例如行程整理和购物比价。