The History and Risks of Reinforcement Learning and Human Feedback

强化学习从人类反馈中学习（RLHF）已经成为使大型语言模型（LLMs）更易于使用和更有效的强大技术。RLHF过程的核心部分是训练和利用人类偏好模型，作为优化的奖励函数。这种方法涉及许多利益相关者和学科的交叉点，但仍然不为人们所理解。 RLHF奖励模型通常被认为是实现性能的核心，但几乎没有关于其能力、评估、培训方法或开源模型的描述。鉴于这种缺乏信息，需要进一步研究和透明度来了解学习的RLHF奖励模型。在本文中，我们阐述了优化偏好的复杂历史，并阐明了理解奖励模型的社会技术背景的研究方向。特别是，我们强调了RLHF基础中涉及的成本、奖励和偏好之间的本体论差异，相关的方法论紧张关系，以及可能的研究方向，以改善对奖励模型如何发挥作用的一般理解。

本论文旨在探讨强化学习从人类反馈中学习（RLHF）在大型语言模型（LLMs）中的应用，特别是RLHF奖励模型的训练和利用方法。该方法被认为是实现性能的核心，但其能力、评估、训练方法或开源模型的描述极少，因此需要进一步研究和透明度。

RLHF奖励模型是优化过程中的核心，本文试图探索其在社会技术背景下的本体论差异、相关方法的紧张关系以及改进奖励模型的研究方向。

本论文强调了优化偏好的复杂历史，并明确了了解奖励模型功能的可能的研究方向。此外，还介绍了实验设计、使用的数据集和值得进一步研究的工作。

在这个领域中，最近的相关研究包括：《Deep Reinforcement Learning for Dialogue Generation》、《Reinforcement Learning for Natural Language Processing》、《A Survey of Reinforcement Learning Informed by Natural Language》等。