RLHF Workflow: From Reward Modeling to Online RLHF

在本技术报告中，我们介绍了在线迭代强化学习从人类反馈中学习（RLHF）的工作流程，该工作流程被广泛报道在最近的大型语言模型（LLM）文献中大幅优于其离线学习的对应物。然而，现有的开源RLHF项目仍然主要局限于离线学习环境。在本技术报告中，我们旨在填补这一空白，并提供一个易于复制的详细步骤，用于在线迭代RLHF。特别是，由于在线人类反馈通常对于资源有限的开源社区来说是不可行的，我们首先使用多样化的开源数据集构建偏好模型，并使用构建的代理偏好模型来近似人类反馈。然后，我们讨论了在线迭代RLHF背后的理论见解和算法原理，接着是详细的实践实现。我们训练的LLM模型SFR-Iterative-DPO-LLaMA-3-8B-R在LLM聊天机器人基准测试中取得了令人印象深刻的表现，包括AlpacaEval-2，Arena-Hard和MT-Bench，以及其他学术基准测试，如HumanEval和TruthfulQA。我们已经证明，使用完全开源的数据集，监督微调（SFT）和迭代RLHF可以获得最先进的性能。此外，我们已经公开提供了我们的模型、策划的数据集和全面的逐步代码指南。请参考https://github.com/RLHFlow/RLHF-Reward-Modeling和https://github.com/RLHFlow/Online-RLHF获取更详细的信息。

本论文旨在提出一种在线迭代强化学习从人类反馈中学习的工作流程，并填补现有开源RLHF项目在在线学习方面的空白。通过构建代理偏好模型来近似人类反馈，使用多样化的开源数据集构建代理偏好模型，从而使在线人类反馈成为可能。

本论文的关键思路是使用代理偏好模型来近似人类反馈，并将其应用于在线迭代强化学习中。这种方法可以在有限的资源下进行在线人类反馈学习，并在多个基准测试中取得了卓越的表现。

本论文的亮点包括：使用代理偏好模型来近似人类反馈，实现在线迭代强化学习；在多个基准测试中取得了卓越的表现；使用完全开源的数据集和代码实现了最先进的性能；提供了详细的代码指南和数据集；值得进一步研究的工作包括如何提高代理偏好模型的准确性和如何在更广泛的应用中使用RLHF。

最近在这个领域中的相关研究包括：《Learning from Human Preferences》、《Iterative Refinement of Approximate Equilibria》、《Learning to Learn by Gradient Descent by Gradient Descent》等。