Terminal-Bench
Terminal-Bench 三成任务有缺陷,修复后智能体分数集体上涨
斯坦福团队审计 Terminal-Bench 2.0 的 89 个任务,确认 28 个存在缺陷,修复后 19 个智能体的准确率普遍上升逾 10 个百分点。研究同时发现,时间预算过紧会制造大量假失败,说明模型榜单必须附带基准版本与资源条件。
找到 1 篇关于此标签的文章
斯坦福团队审计 Terminal-Bench 2.0 的 89 个任务,确认 28 个存在缺陷,修复后 19 个智能体的准确率普遍上升逾 10 个百分点。研究同时发现,时间预算过紧会制造大量假失败,说明模型榜单必须附带基准版本与资源条件。