过去两年，大模型训练走出两条更务实的技术路线：DPO（直接偏好优化）省去奖励模型，GRPO（组相对策略优化）则降低强化学习成本。变化不只是算法更简洁，而是行业开始把注意力从“奖励模型有多准”转向“有限算力能否稳定训练出可用能力”。

这是什么

DPO 由斯坦福大学 Rafael Rafailov 等人提出，核心是用“好回答与坏回答”的偏好数据直接调整模型，不再单独训练奖励模型。传统 RLHF（基于人类反馈的强化学习）通常需要策略模型、价值模型、参考模型和奖励模型同时参与，显存占用高、参数敏感，也容易出现模型钻评分漏洞的“奖励黑客”问题。

DPO 将偏好对齐转化为类似监督学习的训练任务，只需正在训练的模型和冻结的参考模型，工程链路明显缩短。GRPO 走的是另一条路：保留强化学习，让模型对同一问题生成多个答案，再按组内相对表现分配奖励，从而减少对传统价值模型的依赖。DeepSeek-R1 等推理模型采用了这一思路。

行业怎么看

我们认为，DPO 的价值首先在成本和稳定性。偏好数据本来就比逐条打分更易获得，训练过程也少一次模型拟合和反复采样，企业更容易复现。过去一年，DPO 已成为不少开源模型和微调方案的基础工具。

但这并不意味着传统 RLHF 已经过时。反对意见很明确：偏好数据存在标注偏差，模型可能学会迎合标注者，而不是提高事实正确率；DPO 也更擅长调整回答风格，未必能持续激发复杂推理。GRPO 虽降低部分成本，仍需生成大量候选答案并进行验证，计算开销并不低。算法路线正在分化，没有一条可以包打天下。

对普通人的影响

对企业 IT：训练一个对齐企业规则的模型不再必然需要昂贵奖励模型，中小团队也能用偏好数据做定制；但数据治理和评测仍决定最终效果。

对个人职场：模型回答将更贴近团队偏好的表达方式，AI 助手的价值会更多体现在写作、总结和流程执行，而不是通用知识展示。

对消费市场：推理模型会进入更多搜索、办公和开发产品，用户感知到的变化将是回答更稳定、步骤更完整，而非每次都能得到正确答案。