Towards Analyzing and Understanding the Limitations of DPO: A Theoretical Perspective

直接偏好优化（DPO）通过直接从两两比较的偏好数据中推导奖励信号，已经证明在与人类偏好对齐的大型语言模型（LLMs）上具有有效性。尽管在各种任务中广泛使用，但DPO因其对SFT效果的敏感性和对学习人类首选响应的能力的阻碍而受到批评，从而导致性能不够令人满意。为了克服这些限制，理解DPO的理论是必不可少的，但目前仍然缺乏。为此，我们向理论分析和理解DPO的限制迈出了一步。具体而言，我们使用场论提供了一个分析框架，以分析DPO的优化过程。通过分析DPO损失函数的梯度向量场，我们发现DPO损失函数以比增加产生首选数据更快的速度降低产生人类不喜欢的数据的概率。这为理解相关研究实验中发现的DPO限制提供了理论洞见，从而为其改进奠定了基础。

分析Direct Preference Optimization（DPO）的局限性，提出理论框架

使用场论分析DPO的优化过程，发现DPO比增加优选数据更快地减少人类非优选数据的概率，从而提供理论洞察力

使用场论分析DPO的优化过程，提供了理论洞察力；实验数据使用了公开数据集，但没有开源代码；值得深入研究如何提高DPO的性能

最近相关研究包括《Learning to Learn from Preference Feedback》、《Preference-based Reinforcement Learning: A Comprehensive Survey and Recent Advances》等