在 Agent Index v1.2 预览的 86 个模型中，只有 26 个达到计分门槛；榜首相邻模型仅差 1.8 至 2.8 个百分点，按 500 道题估算，这一差距并不显著。模型榜单正在失去天然的可信度。

这是什么

Agent 榜单用一组编程或终端操作任务测试模型，所得通过率被包装成一个看似精确的分数。但分数只是点估计，不是确定答案。置信区间用于表示在同样条件下重复测试时，合理结果可能落在什么范围；它比“90.4 分”多了一层必要的不确定性。

这篇文章提供一段约 200 行的 Python 脚本，用三种方法检查榜单：计算 Wilson 得分区间，判断两个模型的差异是否显著，以及估算要识别目标差距至少需要多少题。Wilson 区间适合通过率很高、样本较少的评测，不会像常见的正态近似那样算出超过 100% 的错误上界。

更重要的是，统计检查只能处理“题和成绩都是真的”这一前提。Terminal-Bench 4 中约六成任务被指有缺陷，Terminal-Bench 2.0 前三名又因答案泄漏或直接读取测试文件而被移除。污染数据和错误题目，不是多算几行公式就能修复的。

行业怎么看

我们认为，Agent 评测正在从“谁分高”转向“结果是否可复现”。榜单若公开题量、随机性、置信区间、代码版本和失败样本，才更接近可用于采购决策的能力证据。对模型厂商而言，这会抬高评测成本，也意味着单次冠军头衔的商业价值下降。

但这套方法有边界。Wilson 区间和显著性检验依赖抽样与题目分布合理；同一模型遇到不同工具、提示词或执行环境，误差可能远大于题量给出的区间。统计显著也不等于业务有效，模型可能统计上领先，却在企业真实流程中频繁卡住。反过来，增加题目数量也不能修复有偏的题目集。

对普通人的影响

对企业 IT：采购 Agent 时，不要把榜单冠军直接当成选型结论。应要求厂商用企业自己的任务做盲测，记录成功率、人工接管率和失败成本。

对个人职场：“某模型排名第一”更适合作为试用线索，而不是调整工作的依据。先观察它在真实材料、权限和流程中的稳定性，再决定是否纳入工作链。

对消费市场：模型能力宣传仍可能继续引用醒目分数，但普通用户看到这类宣传时，应追问测试了多少题、差异是否显著，以及失败案例如何处理。