我们注意到一个反直觉的事实：传统软件一行 assert（断言代码）就能自动测，但 Agent（智能体：能自主调用工具完成任务的 AI 程序）不行 — 业内把评估拆成至少 4 个维度（正确性、相关性、工具调用正确性、安全性）才能勉强兜住。

这是什么

传统软件有个朴素逻辑：输入「2+2」，输出必须是「4」，写断言跑一遍就完事。Agent 不按这个剧本——你问「北京天气如何」，它可以一口气答完，也可能先调工具再组织语言。三种输出都对，但长得完全不一样。

三个特性让 Agent 评估变难：非确定性（每次回答可能不同）、没有标准答案（只有「好」和「不太好」）、多维度（一个回答可能内容准但格式乱）。更棘手的是「歪打正着」：Agent 中间某步错了，最终答案却恰好对了，传统测试抓不到这种隐性失误。

业界目前收敛到四个维度：正确性、相关性、工具调用正确性、安全性。LangChain 旗下的 LangSmith 是目前主流的自动化评估平台。

行业怎么看

主流声音认为这是必然方向。当模型本身接近天花板，「说不准它做对没」就自然升级为下一道关卡。LangChain 推出 LangSmith、各家大模型公司加码评估工具链，都是这个判断的注脚。

但反对意见同样存在。一种尖锐的观点直指 LLM-as-Judge（用大模型当裁判）的悖论：裁判模型若比被测模型弱，打分就不准；若和被测模型一样强，评估成本就是双倍。还有人警告，Agent 特有的「歪打正着」问题——中间步骤错了、最终答案却碰巧对了——传统断言根本抓不到，这会让评估分数好看、实际效果糟糕。

更现实的风险是，评估正在变成新的营销话术。市面上已有产品开始宣传「99% 准确率」，但评估口径不统一，这个 99% 和那个 99% 可能完全不是一回事。

对普通人的影响

对企业 IT：采购 Agent 时不能再只看演示（demo），要开始问「你怎么测它的准确率」，评估报告会和 SLA（服务等级协议）一样进入采购清单。

对个人职场：知识工作者的能力模型正在悄悄加一条——不是「会不会用 AI」，而是「会不会判断 AI 输出的质量」。

对消费市场：普通用户会越来越多看到 AI 产品标榜「准确率 X%」，但这数字背后的水分，可能比手机跑分还大。