这是什么
本周 Reddit 上一套叫 CivBench 的新基准被研究者放出:让大模型完整打完一局《文明5》——平均 100-200 回合的长程战略决策。初步结果里,智谱的 GLM-5.3 在统一开局下击败了 Anthropic 的 Opus-5.5,阿里通义的 Qwen-3.8-27B 表现也意外稳健。
《文明5》补的是多数 AI 基准的盲区:50 回合甚至 100 回合后才兑现的后果判断。研究者用同一组固定开局、控制八个文明中两个由 LLM 出策略、其余沿用游戏原生 AI(Vox Populi),排除运气成分。
更值得注意的是开源 mod Vox Deorum:玩家花 47 元买游戏后,能让本地 Qwen 或现有 Claude/Codex 订阅上场对战——单局 API 成本约 0.5 美元。这是少数能让普通人亲手跑 AI 战略测评的工具。
行业怎么看
支持方认为,MMLU、HumanEval 这类基准测的是「短跑」,而真实业务里大多数价值来自「长跑」——跨多步骤的目标管理。CivBench 把这条短板公开摆上桌,研究者还能复用现有 Steam 副本,对中小团队门槛极低。
质疑声同样存在。游戏终归是游戏,文化胜利、科技胜利这类目标与商业决策的可迁移性未知;况且论文里部分模型版本尚未公开,留有「精挑细选」的嫌疑。有读者直言:「会打《文明》不代表会管公司。」还有人指出,把外交博弈简化成「被 AI 逼签不平等条约」更像噱头而非严肃评估。
对中美竞争格局而言,智谱、阿里在长程任务上不落下风,和此前 SWE-bench、ARC-AGI 上两家交替领先的态势一致——值得关心的是,中国厂商越来越愿意在「非刷榜型」基准上发声。
对普通人的影响
对企业 IT:评估 AI 供应商时,单看聊天质量已不够;涉及多步骤流程(客服工单、审批链)的场景,需要单独拉一套「长程回归测试」。
对个人职场:现阶段把 AI 当单轮搜索助手仍是主流,但 Qwen-3.8-27B 能在本地跑战略游戏,说明端侧长任务正在变便宜——笔记本上跑个能「记仇 50 回合」的对手很快不再稀奇。
对消费市场:游戏 AI 对手从固定脚本变成会延迟兑现策略的模型,玩法层会有肉眼可见的变化——前提是你愿意花半杯奶茶钱看它表演。