我差点被一张漂亮分数表骗了
上周二晚上,我还在北京朝阳区的咖啡馆里改客户网站。AI 助手几分钟生成一版页面,演示时很顺,可真让它补完登录、异常提示和交付说明,又折腾了两个小时。那一刻我发现:会写一段代码,不等于能独立把活干完。
如果你也靠 AI 接单、搭小工具,这张高分表可能比你天天盯着“生成速度”更有用。
MaxxBench 不是比谁跑分高,而是测真实任务
MaxxBench 是 Un Labs 推出的 AI 编程代理评测集,关注的是代理能否完成接近真实工作的软件任务,而不只是通过一道题或生成一段能看的代码。论文、代码库和实验说明公开在 GitHub 及项目官网,研究和试跑门槛相对友好。
我认识一位做自动化的朋友林悦,她今年 3 月在杭州接了一个库存表格项目。她没有直接相信模型宣传,而是先挑自己的旧任务做测试:不仅要改对,还要说明改了什么、能否按说明复现。结果她发现,有的工具演示漂亮,却漏掉边界情况。现在她把“真实任务通过率”加入选工具清单,不再只问哪个生成得快。
你今天复刻,不需要搭复杂环境
复刻成本:公开材料和基础试跑大约 0 元;如果你要用现成托管入口,通常还有免费额度,付费档从每月约 20 美元起。时间上,先用 30 分钟理解测试任务、评分方法和结果表即可;认真拿自己的项目验证,建议预留 2 小时。技术门槛:会复制任务说明、运行现成页面或命令行就算够,不要求你会编程,但需要能判断输出是否完成业务要求。
第一步:打开 MaxxBench 项目主页,找到仓库或试用入口,先看一条公开任务的“任务描述—实际产出—评分结果”,不要急着注册和付费。我自己也卡过:最早只盯着总分,忽略了失败原因,白看了半小时。
按你的阶段决定,要不要把它加入流程
如果你刚起步、还没稳定客户需求,我会先选一个自己的小页面测试,不必为了榜单多花钱;现在不试也没事。跑分不是你的订单。若你已有 1—2 个客户,我会拿一个脱敏后的真实需求做对照,重点看完成率、返工次数和说明是否清楚。你正在扩规模,则可以把不同 AI 编程代理放进同一套内部任务里横向测试,记录人工介入时间,避免团队被演示效果带偏。
你可以把它当体检表,不是采购结论。先用小任务验证,再决定要不要让 AI 接手更多交付活儿。