DPO
DPO 简化大模型偏好训练,推理模型又把强化学习做深
DPO(直接偏好优化)通过偏好数据直接训练模型,省去奖励模型与强化学习链路;GRPO(组相对策略优化)则保留强化学习但降低算力需求。两条路线分别回应大模型训练成本高、推理能力难提升等现实问题。
找到 2 篇关于此标签的文章
DPO(直接偏好优化)通过偏好数据直接训练模型,省去奖励模型与强化学习链路;GRPO(组相对策略优化)则保留强化学习但降低算力需求。两条路线分别回应大模型训练成本高、推理能力难提升等现实问题。
DeepSeek-R1把“560万美元训练成本”推到聚光灯下,也让蒸馏重新成为焦点。值得我们关心的不是一家公司是否省钱,而是大模型竞争正从一味堆算力,转向比拼知识搬运、工程效率与合规边界。