All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning

从第一性原理的角度来看，基础模型微调（FT）中最强的结果是通过相对复杂的两阶段训练程序实现的，这似乎有些奇怪。具体来说，首先在一个数据集（例如人类偏好）上训练一个奖励模型（RM），然后再将其用于下游强化学习（RL）过程中的在线反馈，而不是直接通过离线最大似然估计优化策略参数。实际上，从信息论的角度来看，通过奖励模型传递信息只会导致信息损失，而不会通过策略采样创建任何新信息。为了解释这一差异，我们从理论和实证两个角度仔细审视了关于RL在FT中的价值的几种假设。在所考虑的假设中，我们发现最有力的支持在于这样一种解释：在存在生成-验证差距的问题上，从偏好数据中学习相对简单的奖励模型（验证器）的容易性，加上下游RL过程能够将搜索空间过滤到对相对简单的验证器最优的策略（生成器）子集的能力，这两者的结合导致了在线FT的优越性能。

论文试图解释为什么在基础模型微调中，通过先训练奖励模型再进行强化学习的两阶段训练方法能够取得比直接使用最大似然估计更好的效果。这是一个旨在理解现有现象背后原因的问题，并非全新问题，但其深入探讨有助于优化未来的模型训练方法。

关键思路在于提出并验证了‘生成-验证差距’假设，即对于存在生成与验证差异的问题，简单奖励模型（作为验证者）易于从偏好数据中学习，而后续的强化学习过程能有效筛选出符合这些简单验证者的最优策略（生成器）。这种组合方式相比直接优化参数的方法更能提升性能。此思路为理解复杂模型训练流程提供了新视角。

论文通过理论分析和实证研究相结合的方式支持了上述假设。实验设计包括构建不同类型的生成-验证任务，并对比多种训练方法的效果。使用的数据集涵盖了人类偏好标注的数据。此外，作者还讨论了未来研究方向，如探索更复杂的奖励模型结构或改进强化学习算法以适应更大规模的任务。虽然文中未明确提及代码开源情况，但这类研究通常会伴随代码共享以促进社区发展。

近年来，关于如何有效利用人类反馈来指导机器学习的研究逐渐增多。相关工作包括： 1.《Learning from Human Preferences》探讨了如何直接从人类比较中学习； 2.《Deep Reinforcement Learning from Human Preferences》进一步将这种方法应用于深度强化学习领域； 3.《Reward Modeling for Complex Tasks》则聚焦于复杂任务下的奖励建模挑战。 这些研究共同构成了当前该领域的前沿探索。