Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study

强化学习从人类反馈中学习（RLHF）是目前最广泛使用的方法，用于将大型语言模型（LLMs）与人类偏好对齐。现有的RLHF方法可以大致分为基于奖励和无奖励两种。新颖的应用程序，如ChatGPT和Claude，利用基于奖励的方法，首先学习奖励模型，然后应用演员-评论家算法，例如Proximal Policy Optimization（PPO）。然而，在学术基准测试中，最先进的结果通常是通过无奖励方法实现的，例如直接偏好优化（DPO）。DPO真的比PPO更优吗？为什么PPO在这些基准测试中表现不佳？在本文中，我们首先对DPO的算法属性进行了理论和实证研究，并表明DPO可能具有根本限制。此外，我们还全面检查了PPO，并揭示了PPO在微调LLMs时取得最佳性能的关键因素。最后，我们在一系列RLHF测试平台上对DPO和PPO进行基准测试，从对话到代码生成。实验结果表明，PPO能够在所有情况下超越其他对齐方法，并在具有挑战性的代码竞赛中实现最先进的结果。

本文旨在探讨基于人类反馈的强化学习在对齐大型语言模型方面的应用。具体地，论文比较了基于奖励和无奖励的RLHF方法，探讨了DPO和PPO在对齐大型语言模型方面的优劣，并试图找到PPO在学习对齐LLMs方面表现良好的关键因素。

论文通过理论和实证研究发现，DPO在对齐LLMs方面存在根本性局限性。相比之下，PPO表现更好，本文揭示了PPO在学习对齐LLMs方面表现良好的关键因素。

本文通过实验设计和数据集的使用，展示了PPO在对齐LLMs方面的优越性，并在代码生成等领域取得了最先进的结果。此外，本文也探讨了PPO的关键因素，为后续研究提供了参考。

与本文相关的研究包括：Direct Preference Optimization for Reinforcement Learning, Proximal Policy Optimization Algorithms, ChatGPT, Claude等。