R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

近期的研究通常通过在高质量的链式思维推理数据上进行监督微调来提升多模态大语言模型（MLLMs）的推理能力，但这往往导致模型仅模仿成功的推理路径，而无法理解错误推理路径的问题所在。在这项工作中，我们试图将 MLLMs 的推理能力提升到超越被动模仿正确推理路径的层面。为此，我们设计了逐步分组相对策略优化（StepGRPO），这是一种新的在线强化学习框架，能够通过简单、有效且密集的逐步步奖励机制使 MLLMs 自我提升推理能力。 具体而言，StepGRPO 引入了两种新颖的基于规则的推理奖励：逐步推理准确性奖励（StepRAR）和逐步推理有效性奖励（StepRVR）。StepRAR 通过一种软关键步骤匹配技术，对包含必要中间推理步骤的推理路径给予奖励；而 StepRVR 则通过一种推理完整性和逻辑评估策略，对遵循结构良好且逻辑一致的推理过程的路径给予奖励。 借助所提出的 StepGRPO，我们引入了 R1-VL，这是一系列在逐步推理方面表现出色的多模态大语言模型。大量实验覆盖了 8 个基准测试，证明了我们方法的优越性。

该论文试图解决多模态大语言模型（MLLMs）在推理能力上的局限性问题，特别是如何让模型不仅模仿成功的推理路径，还能理解错误推理路径并进行改进。这是一个重要但尚未完全解决的问题，尤其是在复杂推理任务中。

论文提出了一种新的在线强化学习框架——Step-wise Group Relative Policy Optimization (StepGRPO)，通过引入两个规则驱动的奖励机制（StepRAR和StepRVR）来提升MLLMs的推理能力。与现有方法主要依赖高质量监督数据不同，StepGRPO通过逐步奖励正确性和逻辑一致性，使模型能够自我改进推理路径，从而避免单纯模仿成功路径的局限性。

1. 提出了StepRAR和StepRVR两种奖励机制，分别关注推理路径的关键步骤匹配和逻辑完整性评估；2. 实验涵盖了8个基准数据集，验证了方法的有效性；3. 推出了基于StepGRPO的新系列模型R1-VL，展示了卓越的逐步推理能力；4. 论文未提及代码开源情况，但为未来研究提供了方向，例如如何进一步优化奖励机制或扩展到更多领域任务。

最近的相关研究包括：1. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models'，探讨了通过提示引导模型生成链式推理；2. 'Learning to Reason with Large-Scale Explanations'，利用大规模解释数据提升模型推理能力；3. 'Reinforcement Learning for Step-by-Step Reasoning in Vision-Language Tasks'，尝试将强化学习应用于视觉-语言推理任务。这些工作大多集中在监督学习或特定任务上，而本论文则提出了一个通用的强化学习框架来提升推理能力。