DPO 是什么
DPO（Direct Preference Optimization，直接偏好优化）是一种替代 RLHF 的偏好对齐方法。传统 RLHF 需要训练奖励模型再通过 PPO 优化策略模型，流程复杂且训练不稳定。DPO 的核心创新在于直接利用偏好数据对优化策略模型，无需显式构建奖励模型和强化学习训练循环。
工作原理
DPO 从 RLHF 的奖励最大化目标出发，推导出奖励函数与策略模型之间的闭式解关系，将对奖励模型的优化转化为对策略模型的直接优化。DPO 通过对比偏好数据中"被选择"和"被拒绝"的生成结果，构造一个二元交叉熵损失函数，直接更新语言模型的参数。
主要优势
DPO 相比于 RLHF 具有以下优势：训练简化，无需维护奖励模型和强化学习管线，只需单阶段监督式训练；稳定性更高，避免了 PPO 中策略偏移等问题；计算成本低，训练资源需求和内存占用显著减少。
应用场景
DPO 广泛应用于大语言模型的后训练对齐阶段，包括指令遵循能力优化、安全性对齐、价值观校准等。许多开源模型（如 Zephyr、Intel NeuralChat）均采用 DPO 或其变体进行偏好对齐。