Artificial Analysis 的智能指数 v5.0 用 9 项评测衡量模型能否完成真实任务,其中企业项目占单项最高权重。这说明大模型选型正在从“考试高分”转向“稳定交付”,而不仅是题库又扩了一批。

这是什么

新指数不再主要考知识记忆、数学题或单个代码函数,而是让模型读取财报、邮件和访谈记录,处理企业 SaaS 工作流,修改开源仓库,操作终端完成科研分析,再由测试程序和匿名对比评估交付质量。

四个维度各占 25%:知识工作、编码、科学和通用能力。其中 AA-Briefcase 权重最高,包含 91 项企业项目任务;编码评测要求修复存量代码并通过测试;非幻觉率则与准确率分开计分,答错扣分、放弃不扣分。

Agent(能自主规划步骤、调用工具并完成任务的智能系统)在这里不是宣传标签,而是评测对象:模型必须跨应用、跨工具完成连续工作,而不是只回答一次。

行业怎么看

这套方法值得肯定之处,是它接近企业的验收方式。采购方最终关心的不是某道题得分,而是文档是否可用、代码能否合入、工具调用会不会越权,以及模型是否愿意承认不知道。

但“更接近真实”不等于“就是真实”。Artificial Analysis 是第三方平台,任务选择、评分规则和权重设计仍会影响排名;匿名两两对比也带有主观性。企业项目虽有真实材料,却未必代表自身数据、权限体系和容错标准。若评测提示、工具接口或模型版本发生变化,跨期排名也不宜直接当成经营改善。

因此,这份指数更适合用于初筛和发现能力差异,不应成为采购结论。最后一道关仍是企业自己的业务验收,包括准确性、延迟、成本、数据安全和人工接管成本。

对普通人的影响

对企业 IT:模型评估将更多采用真实工单、代码仓库和流程测试。企业不必只看公开榜单,但需要建立自己的任务集与验收线。

对个人职场:会用软件已不是核心差异,能把资料、工具和交付要求组织成完整工作流会更重要。专业判断与结果核验仍是人的责任。

对消费市场:助手会从“给答案”转向“替人办事”。不过,进入邮箱、文档和业务系统的代理一旦出错,影响也从回答失误升级为操作事故,服务商需要明确权限与撤回机制。