Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning

受到DeepSeek-R1成功的启发，我们探索了基于规则的强化学习（RL）在大型推理模型中的潜力。为了分析推理动态，我们使用合成逻辑谜题作为训练数据，因为它们的复杂度可控且答案验证简单明了。我们在技术上做出了一些关键贡献，从而实现了有效且稳定的RL训练：一个强调思考和回答过程的系统提示、一个严格的格式奖励函数，该函数会惩罚那些试图走捷径的输出，以及一个实现稳定收敛的简单训练方法。我们的7B模型发展出了高级推理技能，例如反思、验证和总结，而这些技能在逻辑语料库中并不存在。值得注意的是，在仅训练了5000个逻辑问题后，该模型展示了对具有挑战性的数学基准AIME和AMC的泛化能力。

论文试图通过使用规则基础的强化学习（RL）来提升大型推理模型的能力，特别是探索如何在复杂逻辑问题上训练模型以实现高效和稳定的性能。这是一个相对较新的尝试，旨在克服传统方法在处理需要深度推理的任务时的局限性。

关键思路在于结合了规则基础的强化学习与合成逻辑谜题作为训练数据，强调思考和回答过程的系统提示、严格的格式奖励函数以及一个简单的训练配方。这些技术共同作用，使得模型不仅能够稳定收敛，还能发展出高级推理技能，如反思、验证和总结。

论文的亮点包括：1) 使用7B参数量的模型仅需5K个逻辑问题即可训练；2) 模型展现出超越训练集范围的泛化能力，能够在AIME和AMC等数学竞赛题目中取得优异成绩；3) 开源代码和数据集有助于后续研究者复现结果并进一步探索。

最近在这个领域中的相关研究包括《DeepSeek-R1: A New Approach to Reasoning in Large Language Models》、《Enhancing Logical Reasoning via Reinforcement Learning》以及《Synthetic Data for Training Advanced AI Systems》。这些工作都致力于通过不同的方法改进AI系统的推理能力。