Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models

强化学习与人类反馈（RLHF）的主要范式是在线和策略内（on-policy）的强化学习：同步地从大规模语言模型（LLM）策略生成样本，通过奖励模型进行标注，并利用对LLM自身输出的反馈进行学习。尽管这一范式表现良好，但计算效率低下。受经典深度强化学习文献的启发，我们提出在RLHF中分离生成和学习过程。这使得可以在生成新样本的同时异步地训练旧样本，从而实现更快的训练和更优的计算扩展性。然而，异步训练依赖于一个尚未充分探索的领域，即在线但策略外（off-policy）的RLHF：在以前模型迭代生成的样本上进行学习。为了理解这一领域的挑战，我们探讨了一个基本问题：异步训练可以容忍多少策略外的数据，以加速学习同时保持性能？在我们测试的几种RLHF算法中，我们发现在线DPO对策略外数据最为稳健，且这种稳健性随着策略模型规模的增大而增强。我们进一步研究了异步RLHF的计算优化，但发现这些优化会带来性能损失，从而产生一种权衡。最后，我们通过在指令跟随任务上将LLaMA 3.1 8B模型训练速度提高40%，同时匹配最终性能，验证了异步RLHF的可扩展性。

该论文试图解决强化学习在人类反馈（RLHF）中的计算效率问题。传统的在线和在线策略方法虽然性能良好，但计算成本高。这是一个重要的实际问题，因为提高计算效率可以加速模型训练并降低成本。

论文提出了一种异步训练方法，即将生成和学习分离，允许在生成新样本的同时训练旧样本。这种方法基于在线但离线策略的RLHF框架，旨在通过减少计算冗余来加快训练速度。与传统方法相比，这种方法在计算效率上具有显著优势。

1. 研究发现，在多种RLHF算法中，DPO（Direct Preference Optimization）对离线数据最为稳健，并且其稳健性随着模型规模的增加而提高。 2. 论文探讨了进一步的计算优化方法，但这些优化通常会带来性能损失，从而形成一个权衡。 3. 实验验证了异步RLHF方法在LLaMA 3.1 8B模型上的效果，结果显示该方法可以在保持最终性能的同时，将训练速度提高40%。 4. 该研究提供了开源代码，方便其他研究者复现和扩展实验。

1. "Deep Reinforcement Learning from Human Preferences" - 这篇论文提出了通过人类偏好进行深度强化学习的方法，为RLHF奠定了基础。 2. "Reinforcement Learning with Augmented Data" - 该研究探讨了通过数据增强技术改进RLHF的方法。 3. "Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems" - 这篇综述文章详细讨论了离线强化学习的现状和挑战，为本研究提供了理论支持。 4. "Training Language Models to Follow Instructions with Human Feedback" - 该研究探讨了如何通过人类反馈训练语言模型以更好地遵循指令，与本研究的应用场景相似。