Asymmetric REINFORCE for off-Policy Reinforcement Learning: Balancing positive and negative rewards

强化学习（RL）正越来越多地被用于对齐大语言模型（LLMs）。离线策略方法相比在线策略技术具有更高的实现简便性和数据效率，但往往会导致次优的性能。本文中，我们通过分析一种简单的离线策略 REINFORCE 算法，研究了介于离线策略 RL 和监督微调之间的中间范围算法。该算法将优势函数定义为 $A = r - V$，其中 $r$ 是奖励，$V$ 是某个可调节的基线。直观上，降低 $V$ 会更加强调高奖励样本，而提高 $V$ 则会对低奖励样本施加更重的惩罚。我们首先对该离线策略 REINFORCE 算法进行了理论分析，表明当基线 $V$ 是期望奖励的一个下界时，该算法可以提供策略改进的保证。我们的分析揭示了一个重要现象：在线策略更新可以安全地同时利用正向和负向信号，而离线策略更新则更受益于关注正向奖励而非负向奖励。我们在一个受控的随机多臂老虎机环境中以及在推理任务上对最先进的 LLMs 进行微调的实验中验证了我们的发现。

这篇论文旨在解决在使用强化学习（RL）对齐大型语言模型（LLMs）时，离策略（off-policy）方法虽然实现简单且数据效率高，但通常表现不如预期的问题。作者试图验证一个假设：通过引入一种介于离策略RL和监督微调之间的中间算法设计，可以提升离策略RL的性能。

论文的关键思路是分析一种简单的离策略REINFORCE算法，其中优势函数定义为 $A = r - V$，其中 $r$ 是奖励，$V$ 是可调节的基线。作者提出当基线 $V$ 下界估计期望奖励时，该算法具有策略改进保证。相比传统离策略方法更关注正向奖励而非负向奖励的设计，这种方法能够更好地平衡正负信号的利用。

1. 理论分析表明，适当调整基线 $V$ 可以使离策略更新更专注于高奖励样本，从而改善整体性能。 2. 实验部分包括在一个受控的随机带宽环境下进行测试，并将该方法应用于最先进的LLM在推理任务上的微调。 3. 结果验证了理论分析的有效性，并揭示了离策略方法与监督微调之间的中间区域可能是一个值得进一步研究的方向。 4. 没有提到代码开源或具体数据集细节，但实验部分展示了实际应用潜力。

1. Recent Advances in Reinforcement Learning for Language Models 2. Off-Policy Policy Gradient Methods: A New Frontier for LLM Alignment 3. Supervised Fine-tuning vs. Reinforcement Learning: Bridging the Gap for Large Language Models 4. Bandit Algorithms and Their Applications in Sequential Decision Making for NLP Tasks 5. Trust Region Policy Optimization and Proximal Policy Optimization in Deep Reinforcement Learning