斯坦福团队对 Terminal-Bench 2.0 的 89 个任务完成审计，确认 28 个需要修复；版本更新后，19 个智能体的整体准确率上涨超过 10 个百分点。这说明看似客观的 Agent 榜单，也在像软件一样持续失真。

这是什么

Terminal-Bench 是用来测试智能体能否在终端环境中完成真实编码任务的基准。智能体（能自主调用工具、分步骤完成任务的 AI 系统）可以操作命令行、修改代码并运行测试，其得分常被企业用来比较模型和工具。

斯坦福 Crystal Zhou、Scott Linderman 与 Christopher Ré 将基准失效称为“基准维护债务”：软件依赖升级、接口改变或网页下线，会让原任务无法复现；题面与评分规则不一致，也可能把正确答案判错。

团队让证据收集、审计和验证三个智能体接力工作，再由人类审核修复。89 个任务中有 28 个确认需要处理，Terminal-Bench 2.1 发布后，相关智能体平均准确率提升超过 10 个百分点，但总体排名仍较稳定。

行业怎么看

我们认为，这项研究并没有推翻现有榜单，而是补上了榜单最容易被忽略的使用条件。模型强弱的大格局仍然成立，排名相差不大的模型却可能因基准版本不同而互换位置，单项分数最多变化 12 个百分点。

更值得警惕的是时间预算。默认设置下，超过一半的失败来自超时；某些测试框架中，这一比例达到 68%。把时间放宽后，GPT 5.4 在两个测试框架之间约 20 个百分点的差距几乎消失，证明部分所谓框架差异，实际是在比较谁运行得更快。

反对意见也很明确：持续审计成本不低，依赖版本钉死、外部环境隔离和人工复核都需要投入。修复规则本身也可能改变任务难度，因此新版分数不能简单与旧版横向比较。更稳妥的做法是同时报告基准版本、测试框架和资源预算，并进行预算敏感性测试。

对普通人的影响

对企业 IT：采购智能体工具时，不要只看厂商截图中的榜单分数，应追问测试版本、超时设置和任务是否由人工复核。企业内部评测也应纳入依赖锁定与定期维护，避免用失真的测试指导采购。

对个人职场：“某模型超过某产品”仍不足以决定是否付费或迁移工作流。速度、成本和任务成功率往往比单次排名更接近实际价值，使用自动化工具时还需要保留人工检查环节。

对消费市场：模型更新后的功能宣传可能包含偏高或不完整的比较。随着基准逐渐公开版本信息，消费者更容易判断“分数提升”来自能力进步，还是测试环境变得更宽松。