Artificial Analysis
Artificial Analysis 改用真实任务评测大模型,企业选型逻辑随之改变
Artificial Analysis 发布智能指数 v5.0,把知识工作、编码、科研与通用能力各占四分之一权重,用真实项目和端到端任务替代刷题式评测。它释放出明确信号:企业选模型正从考试分数转向交付质量,但榜单仍不能替代业务验收。
找到 3 篇关于此标签的文章
Artificial Analysis 发布智能指数 v5.0,把知识工作、编码、科研与通用能力各占四分之一权重,用真实项目和端到端任务替代刷题式评测。它释放出明确信号:企业选模型正从考试分数转向交付质量,但榜单仍不能替代业务验收。
斯坦福团队审计 Terminal-Bench 2.0 的 89 个任务,确认 28 个存在缺陷,修复后 19 个智能体的准确率普遍上升逾 10 个百分点。研究同时发现,时间预算过紧会制造大量假失败,说明模型榜单必须附带基准版本与资源条件。
第三方用公开工具复现 DeepSeek V4 Flash 在 Terminal-Bench 2.1 上的 82.7% 成绩,368/445 次成功。数字本身没问题,但 DeepSeek 用的私有评测工具未公开,让"谁跑都一样"的承诺打了折扣。