RLinf: Flexible and Efficient Large-scale Reinforcement Learning via Macro-to-Micro Flow Transformation

强化学习（RL）在推动通用人工智能、智能体智能和具身智能方面展现出巨大潜力。然而，现有系统中RL工作流固有的异构性和动态性常常导致硬件利用率低下和训练速度缓慢。本文提出了RLinf，一种基于我们核心观察的高性能强化学习训练系统：高效RL训练的主要障碍在于系统的灵活性不足。为了最大程度地兼顾灵活性与效率，RLinf构建于一种名为“宏到微流转换”（M2Flow）的全新RL系统设计范式之上。该范式能够自动从时间和空间两个维度将高级、易于组合的RL工作流分解，并重组为优化的执行流程。依托RLinf工作节点的自适应通信能力，我们设计了上下文切换和弹性流水线机制以实现M2Flow转换，并采用基于性能分析的调度策略生成最优执行计划。在推理型RL和具身RL任务上的大量实验评估表明，RLinf始终优于当前最先进的系统，在端到端训练吞吐量上实现了1.1倍至2.13倍的加速。

论文试图解决强化学习（RL）训练系统中由于工作流的高度异构性和动态性导致的硬件利用率低和训练速度慢的问题。现有的系统在灵活性上不足，难以高效支持多样化的RL任务，如基于推理的RL和具身智能RL。这个问题随着RL向更复杂、更通用的人工智能方向发展而变得愈发重要，虽然已有部分系统优化研究，但针对系统级灵活性与效率协同提升的研究仍不充分，因此具有较强的新颖性和现实需求。

论文提出RLinf，一种基于新设计范式‘宏到微流转换’（M2Flow）的高性能RL训练系统。其核心思路是通过将高层、易组合的RL工作流在时空两个维度自动拆解并重构为优化的执行流，从而提升系统灵活性与效率。相比现有系统通常采用固定流水线或静态调度，M2Flow通过上下文切换、弹性流水线和性能分析引导的调度策略实现动态自适应执行，显著提升了系统对多样化RL工作流的适应能力，这是当前系统所缺乏的关键创新。

RLinf在多种推理RL和具身RL任务上进行了广泛评估，结果表明其端到端训练吞吐量比当前最先进的系统提升1.1x-2.13x。系统支持自适应通信机制，并引入了上下文切换与弹性流水线技术以实现M2Flow转换。调度策略由实际性能剖析驱动，能生成最优执行计划。论文实验设计全面，涵盖不同规模和类型的RL场景，验证了系统的通用性与可扩展性。作者未明确提及代码是否开源，但系统架构设计具有较强的工程落地潜力，未来可在更大规模分布式环境或与其他AI编译器集成方面深入探索。

1. Ray: A Distributed Framework for Emerging AI Applications 2. SEED RL: Scalable and Efficient Deep-RL with Accelerated Parameter Server 3. TorchRL and TorchBeast: Modular Libraries for Reinforcement Learning 4. Alpa: Automating Inter- and Intra-Operator Parallelism in Transformer Training 5. Scalable Deep Reinforcement Learning with Accelerated Experience Replay