Tzafon AI 在一篇论文中给出了两个数字:多轮游戏 Wordle 的最终胜率为 0.850,而对比算法 GRPO 为 0.790;这意味着更聪明地分配训练算力,正在成为 Agent(能自主规划并调用工具完成任务的模型)公司的竞争点。

强化学习(RL,模型通过试错和奖励调整行为)中的树形 rollout,会在模型的关键决策点展开多条行动分支。常见做法是在“不确定”位置增加分支,但 Tzafon AI 的研究认为,真正稀缺的不是探索机会,而是能准确改善模型的训练信号。

这是什么

EPIG-Tree 先对策略梯度进行方差分解:一个决策点的影响,既取决于当下动作是否难选,也取决于后续结果是否难预测。前者需要增加分支,后者则更适合重复采样后续路径,再据此给候选分支打分。

这套方法可以直接利用已有训练记录筛选分支,不要求额外采样来先摸清哪里值得探索。论文称,在 13 个环境中的 9 个稠密连续控制环境里,该方法接近完整恢复参考梯度方向;在单轮数学任务上,分支位置的作用则明显弱于更细粒度的奖励分配。

行业怎么看

值得关注的变化,是 Agent 训练正在从“堆更多模型和算力”转向“提高每个训练样本的有效价值”。如果这一原则成立,同等预算下的模型能力和推理表现可能出现更稳定差距,而不是单纯增加调用次数。

但风险同样明确。EPIG-Tree 的打分依赖模型对状态、动作和未来结果的估计,在快速变化或极端环境中可能失真;目前较强的多轮任务证据主要来自 Wordle,距离复杂办公、长程工具调用仍有距离。树形训练的工程复杂度也高于常规方案,小团队未必能靠这一点取得优势。

对普通人的影响

对企业 IT:训练智能体的单位成本可能下降,但采用门槛并未同步降低。企业需要先判断自身任务是否具备可重复、可评分的流程,再考虑这类方法。

对个人职场:未来 Agent 的差距可能更多来自训练质量和执行稳定性,而非演示时是否会说漂亮话。评估供应商时,真实业务中的任务成功率会比单项榜单更有参考价值。

对消费市场:若方法被主流模型团队采用,复杂任务的完成率和稳定性有望改善,但短期内更可能首先出现在企业服务中,尚难据此判断个人工具会立刻出现多大变化。