DAPO: An Open-Source LLM Reinforcement Learning System at Scale

推理扩展赋予了大语言模型前所未有的推理能力，其中强化学习是激发复杂推理的核心技术。然而，最先进的推理型大语言模型的关键技术细节往往被隐藏（例如在 OpenAI 的 o1 博客和 DeepSeek R1 技术报告中），因此社区仍然难以重现其强化学习训练结果。我们提出了 **D**ecoupled Clip 和 **D**ynamic s**A**mpling **P**olicy **O**ptimization (**DAPO**) 算法，并完全开源了一套最先进的大规模强化学习系统，该系统基于 Qwen2.5-32B 基础模型，在 2024 年 AIME 测试中取得了 50 分的成绩。与以往隐瞒训练细节的工作不同，我们介绍了算法成功的四个关键技术。此外，我们开源了基于 verl 框架的训练代码，以及经过精心整理和处理的数据集。这些开源系统的组成部分提高了可复现性，并为未来的大规模大语言模型强化学习研究提供了支持。

论文试图解决大型语言模型（LLM）在复杂推理任务上的训练和可复现性问题，特别是通过强化学习（RL）提升LLM的推理能力。这是一个重要但尚未完全解决的问题，尤其是在开源社区中缺乏透明的RL训练细节。

论文提出了一种名为DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）的新算法，该算法通过四个关键技术改进了大规模LLM的强化学习训练效果。这些技术包括动态采样策略、解耦裁剪等，并基于Qwen2.5-32B基础模型实现了在AIME 2024竞赛中的高分表现（50分）。相比现有研究，这篇论文不仅公开了详细的技术实现，还提供了完整的开源系统，从而增强了研究的可复现性。

1. 实验设计明确：使用AIME 2024作为基准测试，验证了模型在复杂数学推理任务上的表现；2. 开源贡献显著：不仅开放了训练代码，还分享了一个精心策划的数据集，降低了其他研究者的入门门槛；3. 技术细节详尽：详细介绍了DAPO算法的四个核心组件，为后续研究提供了清晰的方向；4. 使用Qwen2.5-32B作为基础模型，展示了国产大模型在国际前沿任务上的竞争力。

近期相关研究包括OpenAI的o1博客中关于推理增强的讨论、DeepSeek发布的R1技术报告以及斯坦福大学关于Mathematical Reasoning in LLMs的研究。此外，还有Google的PaLM-E系列工作，探索了多模态推理能力的提升。值得注意的是，这些工作大多未公开详细的训练流程或数据集，而本论文填补了这一空白。