Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1

近期在链式思维（COT）生成方面的进展显著提升了大语言模型（LLMs）的推理能力，而强化学习（RL）作为一种有效的后训练方法逐渐崭露头角。多模态大语言模型（MLLMs）继承了这种推理潜力，但在需要结合感知与逻辑推理的任务中仍待深入探索。为此，我们引入了 SEED-Bench-R1，这是一个专为系统评估多模态大语言模型在视频理解中的后训练方法而设计的基准测试。该基准包含复杂的现实世界视频和以多项选择题形式呈现的复杂日常规划任务，要求高度发达的感知与推理能力。SEED-Bench-R1 通过一个三层级的评估体系来衡量泛化能力，包括同分布、跨环境以及跨环境任务场景，并配备了一个大规模训练数据集，其答案易于验证且真实可靠。以通义千问2-VL-Instruct-7B 为基础模型，我们将强化学习（RL）与监督微调（SFT）进行了对比，结果表明 RL 在同分布和异分布任务上均展现出更高的数据效率和更优性能，甚至在通用视频理解基准（如 LongVideoBench）上的表现也超越了 SFT。我们的详细分析显示，RL 能够增强视觉感知能力，但有时会生成逻辑连贯性较差的推理链条。我们识别出了一些关键限制，例如推理不一致以及忽视视觉线索的问题，并提出了未来改进方向，包括提升基础模型的推理能力、优化奖励建模，以及增强 RL 对噪声信号的鲁棒性。

论文试图解决多模态大语言模型（MLLMs）在视频理解任务中的推理能力不足问题，特别是在需要结合感知和逻辑推理的复杂任务中。这是一个相对较新的问题，因为随着多模态模型的发展，如何有效提升其推理能力成为研究热点。

论文提出通过强化学习（RL）对MLLMs进行后训练，以增强其在视频理解任务中的推理能力。相比监督微调（SFT），RL展现出更高的数据效率和更好的泛化性能，尤其是在跨环境和跨任务场景中。此外，论文设计了一个全新的基准测试SEED-Bench-R1，用于系统性评估这些方法的效果。

1. 提出了SEED-Bench-R1，一个包含复杂视频和多选题的任务基准，能够全面评估模型的感知与推理能力；2. 使用Qwen2-VL-Instruct-7B作为基础模型，验证了RL在视频理解任务上的优越性；3. 实验表明RL不仅提高了视觉感知能力，还在LongVideoBench等通用基准上超越了SFT；4. 开源代码和大规模训练数据集有助于后续研究；5. 深入分析了RL的局限性，如不一致的推理链和忽视视觉线索，并提出了改进建议。

近期相关研究包括：1. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models'，探讨了COT生成对LLMs推理能力的提升；2. 'Reinforcement Learning for Vision-Language Models: A Survey'，综述了RL在视觉-语言模型中的应用；3. 'LongVideoBench: Evaluating Video Understanding Models on Long-Form Videos'，专注于长视频理解的基准测试；4. 'Multimodal Reasoning with Large Language Models'，研究了MLLMs在多模态推理中的潜力。