Understanding the performance gap between online and offline alignment algorithms

强化学习从人类反馈中学习（RLHF）是大型语言模型对齐的经典框架。然而，离线对齐算法的流行挑战了RLHF中对策略采样的需要。在奖励过度优化的背景下，我们首先进行了一系列实验，证明在线方法比离线方法具有明显的优势。这促使我们通过一系列精心设计的实验削减来调查性能差异的原因。我们通过实验证明，离线数据覆盖率和数据质量本身并不能令人信服地解释性能差异。我们还发现，虽然离线算法训练策略变得擅长于成对分类，但在生成方面表现更差；与此同时，在线算法训练的策略在生成方面表现良好，但在成对分类方面表现更差。这暗示了判别和生成能力之间的独特相互作用，这在很大程度上受到采样过程的影响。最后，我们观察到性能差异在对比损失和非对比损失函数中都存在，并且似乎不能通过简单地扩大策略网络来解决。综上所述，我们的研究揭示了对策略采样在AI对齐中的关键作用，并暗示了离线对齐算法的某些基本挑战。

本论文试图探讨离线对齐算法与在线对齐算法的差异，以及在线采样过程在AI对齐中的关键作用。

本论文通过一系列实验和分析，发现在线算法相比离线算法在生成和分类中表现更优，暗示了在线采样过程对于鉴别和生成能力之间的独特相互作用的重要性。

实验结果表明，离线数据覆盖率和数据质量本身并不能完全解释性能差异。同时，论文还发现在线算法在生成方面表现更好，而离线算法在分类方面表现更好。此外，论文还观察到这种性能差异不仅存在于对比损失函数中，而且似乎也不能通过扩大策略网络来解决。

最近在这个领域中，还有一些相关的研究，例如《Offline Meta-Reinforcement Learning with Advantage Weighting》和《Off-Policy Evaluation and Learning from Logged Bandit Feedback: Error Reduction via Surrogate Policy》。