Rafael Rafailov

DPO 简化大模型偏好训练，推理模型又把强化学习做深

DPO（直接偏好优化）通过偏好数据直接训练模型，省去奖励模型与强化学习链路；GRPO（组相对策略优化）则保留强化学习但降低算力需求。两条路线分别回应大模型训练成本高、推理能力难提升等现实问题。