Dense Reward for Free in Reinforcement Learning from Human Feedback

强化学习从人类反馈中学习（RLHF）被认为是使大型语言模型（LLMs）能够有效遵循指令并产生有用辅助的关键进展。经典的方法是在对LLM进行查询后生成完成结果，然后使用单独的奖励模型对整个完成结果进行评分。作为自回归过程，LLM必须执行许多“动作”（选择单个标记），并且仅在一个episode的结尾收到单个稀疏奖励，这是传统强化学习中难以优化的设置。在这项工作中，我们利用奖励模型包含的信息不仅仅是它的标量输出，特别是它作为变压器架构的一部分计算标记的注意力图。我们使用这些注意权重来重新分配整个完成结果的奖励，有效地密集化信号并突出显示最重要的标记，而不会产生额外的计算成本或需要任何额外的建模。我们证明，从理论上讲，这种方法相当于基于潜力的奖励塑形，确保最优策略保持不变。在实证方面，我们表明这种方法稳定了训练，加速了学习速度，并且在实际情况下可能导致更好的局部最优解。

本论文旨在解决大型语言模型在执行任务时，由于奖励信号稀疏而难以优化的问题。同时，论文还试图利用奖励模型中的注意力权重来重新分配奖励，以提高训练效率和结果质量。

论文的关键思路是利用奖励模型中的注意力权重来重新分配奖励，使其更加密集和准确，从而提高模型的训练效率和结果质量。

论文通过实验验证了这种方法的有效性，证明它可以提高训练的稳定性和加速学习速度，并且在某些情况下可以导致更好的局部最优解。此外，论文还提供了开源代码和使用的数据集，方便其他研究者进行进一步研究。

与本论文相关的研究包括使用强化学习来训练大型语言模型的工作，以及使用奖励塑形来解决奖励信号稀疏问题的研究。例如，D. Bahdanau等人提出了一种基于强化学习的序列到序列模型，用于机器翻译任务。P. Pong等人则提出了一种基于势函数的奖励塑形方法，用于优化强化学习中的稀疏奖励信号。