Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO

我们对在表示差距条件下，基于人类反馈的强化学习（RLHF）与直接偏好优化（DPO）之间的性能差距进行了细致的理论分析。我们的研究将这一差距分解为两个来源：精确优化下的显式表示差距和有限样本下的隐式表示差距。在精确优化设置中，我们刻画了奖励模型类和策略模型类的相对容量如何影响最终的策略质量。我们表明，根据模型错误指定的类型不同，RLHF、DPO 或在线 DPO 可能彼此优于对方。特别地，当奖励模型类和策略模型类同构且均被错误指定时，在线 DPO 可以同时优于 RLHF 和标准 DPO。在近似优化设置中，我们提供了一个具体的构造示例，其中真实奖励是隐式稀疏的，并证明 RLHF 恢复有效奖励模型所需的样本量显著少于 DPO —— 这突显了两阶段学习的统计优势。综合这些结果，我们在不同设置下全面理解了 RLHF 和 DPO 之间的性能差距，并为每种方法在何种情况下更优提供了实用的见解。

论文试图分析强化学习从人类反馈（RLHF）与直接偏好优化（DPO）之间的性能差距问题，特别是在存在表示差距的情况下。这是一个深入的理论研究问题，探讨了不同方法在精确优化和近似优化设置下的表现差异。

论文通过分解性能差距为显式表示差距（精确优化下）和隐式表示差距（有限样本下），揭示了奖励模型和策略模型的相对容量如何影响最终策略质量。此外，它提出了在线DPO在特定条件下可能优于RLHF和标准DPO，并展示了RLHF在统计效率上的潜在优势（尤其是在隐式稀疏奖励场景中）。相比现有研究，这篇论文提供了一个更细粒度的理论框架来理解这些方法的行为差异。

论文的主要亮点包括：1) 提出了一个统一的理论框架，用于分析RLHF、DPO和在线DPO在不同模型误设情况下的表现；2) 发现在线DPO在奖励和策略模型类同构且均被误设时具有优势；3) 在近似优化设置中构造了一个隐式稀疏奖励的例子，证明RLHF的样本复杂度显著低于DPO；4) 理论分析结合具体假设，为实际应用提供了指导。目前未提及实验数据集或开源代码，但其理论结果值得进一步通过实证验证。

近期相关研究包括：1) 基于人类反馈的强化学习（如Ouyang et al., 2022, 'Training language models to follow instructions with human feedback'）；2) 直接偏好优化的研究（如Wu et al., 2022, 'Direct Preference Optimization: Tractable Offline Optimization of Preferences'）；3) 关于稀疏奖励问题的工作（如Pathak et al., 2019, 'Self-Supervised Exploration via Disagreement'）。此外，两阶段学习方法的样本复杂度分析也是相关领域的重要方向（如Jiang et al., 2017, 'Contextual Decision Processes with Low Bellman Rank are PAC-Learnable'）。