RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs

最先进的大型语言模型已成为各种任务中不可或缺的工具。然而，训练LLM以成为人类有效助手需要仔细考虑。一种有前途的方法是从人类反馈中进行强化学习（RLHF），该方法利用人类反馈根据人类偏好更新模型，并减轻毒性和幻觉等问题。然而，对于LLM的RLHF的理解在很大程度上与推广该方法的初始设计选择纠缠在一起，当前的研究重点是增强这些选择而不是根本性地改进框架。本文通过强化学习原理的视角分析RLHF，以发展对其基本原理的理解，重点关注RLHF的核心组件——奖励模型。我们的研究调查了建模选择、函数逼近的注意事项以及它们对RLHF训练算法的影响，强调了对奖励的表达能力所做的基本假设。我们的分析提高了对奖励模型的作用及其训练方法的理解，同时揭示了当前方法的局限性。我们对这些限制进行了描述，包括不正确的泛化、模型规范不当以及反馈的稀疏性，以及它们对语言模型的性能的影响。讨论和分析得到了当前文献的分类审查的支持，为研究人员和从业者提供了理解RLHF挑战并建立在现有努力之上的参考。

本文旨在通过强化学习原理的视角分析人类反馈强化学习（RLHF）在大型语言模型（LLMs）中的应用，特别是关注RLHF的核心组件——奖励模型的建模选择和函数逼近的注意事项，揭示当前方法的局限性。

本文分析了RLHF的基本原理，特别是奖励模型的重要性，探讨了其建模选择和函数逼近的注意事项，并揭示了当前方法的局限性，包括错误的泛化、模型错误规范化和反馈稀疏性等。

本文通过分类综述当前文献，提供了一个参考，以便研究人员和从业者了解RLHF的挑战并建立在现有工作之上。同时，本文还探讨了建模选择、函数逼近的注意事项以及它们对RLHF训练算法的影响，以及当前方法的局限性。

最近的相关研究包括“Learning to Summarize from Human Feedback”、“Reinforcement Learning with Human Feedback in Minecraft”和“Interactive Language Learning by Question Answering”等。