Reviving The Classics: Active Reward Modeling in Large Language Model Alignment

从人类偏好构建神经奖励模型是基于人类反馈的强化学习（RLHF）和大型语言模型对齐研究中的关键组成部分。鉴于人类标注的稀缺性和高昂成本，如何选择最具信息量的对比对进行标注是一个至关重要但极具挑战性的开放问题。在这项工作中，我们强调了一个理想的奖励建模比较数据集应平衡探索表示空间，并在具有中等奖励差异的对比对之间做出有意义的比较。技术上，难题在于量化这两个目标，并高效地优先选择要标注的对比对。为了解决这一问题，我们提出了基于Fisher信息的选择策略，借鉴了经典实验设计文献中的理论，并将其应用于基于深度神经网络的奖励建模任务的最终线性层。实证结果表明，我们的方法在多个开源大型语言模型和数据集中，相较于来自深度学习和经典统计文献的其他选择方法，表现出显著的性能、高计算效率和稳定性。进一步的消融研究表明，在主动奖励建模中引入跨提示比较显著提高了标注效率，这为改进RLHF中的标注策略提供了启示。

论文试图解决在强化学习从人类反馈（RLHF）和大型语言模型对齐研究中，如何在有限且昂贵的人类标注资源下，选择最具信息量的样本对进行标注的问题。这确实是一个新问题，特别是在提高标注效率和模型性能方面。

关键思路是通过平衡探索表示空间和比较具有适度奖励差异的样本对来构建理想的比较数据集。为此，论文提出了基于Fisher信息的选择策略，并结合经典实验设计理论应用于深度神经网络的最终线性层。这一方法相较于现有技术，在量化目标和高效优先级排序方面具有创新。

论文展示了该方法在多个开源大型语言模型和数据集上的显著性能、计算效率和稳定性。此外，通过消融研究发现，跨提示比较能显著提高标签效率，为改进RLHF中的注释策略提供了新的视角。实验设计严谨，使用了多种公开数据集，并且代码已开源，便于后续研究者复现结果并进一步探索。

最近在这个领域内的相关研究包括：1)《Deep Reinforcement Learning from Human Preferences》探讨了如何直接从人类偏好中学习；2)《Reward Modeling for Language Models via Human Feedback》研究了通过人类反馈调整语言模型奖励机制的方法；3)《Active Reward Learning from Critiques》则专注于通过主动学习改进奖励建模。这些研究共同推动了RLHF领域的进步。