SPO: Multi-Dimensional Preference Sequential Alignment With Implicit Reward Modeling

在构建强大可靠的大型语言模型（LLMs）时，人类偏好对齐至关重要。然而，当前的方法要么忽略人类偏好的多维性（例如有益和无害），要么难以管理多个奖励模型的复杂性。为了解决这些问题，我们提出了顺序偏好优化（SPO）方法，该方法通过顺序微调LLMs来与人类偏好的多个维度对齐。SPO避免了显式奖励建模，直接优化模型以与微妙的人类偏好对齐。我们从理论上推导了闭式最优SPO策略和损失函数。进行了梯度分析，以展示SPO如何在维持先前优化的维度对齐的同时微调LLMs。在不同大小的LLMs和多个评估数据集上进行的实证结果表明，SPO成功地在人类偏好的多个维度上对齐LLMs，并且明显优于基线。

解决问题的多维度性和多重奖励模型管理的困难。论文提出了一个新的方法——Sequential Preference Optimization（SPO），用于解决这个问题。

SPO方法可以避免显式的奖励建模，直接优化模型以与复杂的人类偏好保持一致。论文推导了SPO策略和损失函数的闭式最优解，并进行了梯度分析以展示SPO如何在维持先前优化维度的一致性的同时，对LLMs进行微调。

论文通过实验验证了SPO在多个数据集上的有效性，并展示了它在多个人类偏好维度上成功对齐LLMs的能力，同时也显著优于基线。论文还提供了开源代码。

近期相关研究包括：Learning Robust Rewards with Adversarial Inverse Reinforcement Learning和Preference-based Policy Learning。