Learning to Reason at the Frontier of Learnability

强化学习现在被广泛应用于大型语言模型训练的最后阶段，特别是在数学问题等推理类任务中。通常情况下，模型在单个训练步骤中会尝试每个问题多次，并试图从成功和失败中学习。然而，我们发现，在使用两个流行算法（PPO 和 VinePPO）对两个常用数据集进行训练的过程中，许多问题要么所有尝试都能解决——意味着它们已经被掌握，要么所有尝试都无法解决——无法提供有意义的训练信号。 为了解决这一问题，我们借鉴了强化学习文献中的一个方法——可学习性采样，并将其应用于大型语言模型训练的强化学习阶段。我们的课程设置优先选择成功率波动较大的问题，即那些有时能成功但并非总是成功的问题。研究结果表明，这种方法在多个算法和数据集上一致地提升了训练性能，为大型语言模型中的更高效和有效的强化学习铺平了道路。

论文试图解决在大型语言模型（LLM）的强化学习训练阶段，特别是在处理推理类任务如数学问题时，许多问题要么被所有尝试成功解决，要么完全无法解决，导致缺乏有意义的训练信号的问题。这是一个新问题，特别是在大规模语言模型训练的背景下。

关键思路是引入了‘学习性采样’方法，优先选择那些具有高成功率方差的问题进行训练，即那些有时成功但并非总是成功的问题。这种方法旨在提高训练效率和效果。相比现有研究，该论文创新地将这一方法应用于LLM的强化学习阶段，通过调整训练样本的选择来优化学习过程。

实验设计方面，作者使用了两个广泛使用的数据集，并测试了两种流行的算法（PPO和VinePPO）。结果显示，这种方法能显著提升多个算法和数据集上的训练表现。此外，论文还提供了开源代码，方便其他研究者复现和进一步研究。未来值得深入的方向包括探索更多类型的任务以及不同的强化学习算法。

最近在这个领域中，相关研究还包括：1.《Improving Generalization in Reinforcement Learning via Curriculum Learning》探讨了课程学习对泛化能力的影响；2.《Curriculum Learning for Deep Neural Networks》讨论了深度神经网络中的课程学习策略；3.《Adaptive Curriculum Learning for Reinforcement Learning Agents》提出了自适应课程学习框架。