Echo: Decoupling Inference and Training for Large-Scale RL Alignment on Heterogeneous Swarms

现代基于强化学习（RL）的大语言模型（LLM）后训练方法通常在同一 GPU 集群上同时进行轨迹采样和策略优化，迫使系统在推理和训练工作负载之间切换。这种串行的上下文切换违反了当前分布式训练系统所依赖的单程序多数据（SPMD）假设。我们提出了 Echo 系统，该系统在异构的“推理”和“训练”节点组之间清晰地解耦这两个阶段，同时保持统计效率。Echo 引入了两种轻量级的同步协议：一种是顺序拉取模式，根据 API 调用更新策略权重，以实现偏差最小化；另一种是异步推拉模式，通过回放缓冲区传输带有版本标签的轨迹，以最大化硬件利用率。在地理分布的集群上，使用 Qwen3-4B、Qwen2.5-7B、Qwen3-30B-A3B-Thinking-2507 和 Qwen3-32B 四个典型 RL 任务进行训练，Echo 在收敛速度和最终奖励方面与完全共址的 Verl 基线相当，同时将轨迹生成任务卸载到了通用的边缘硬件上。这些有希望的结果表明，针对大语言模型的大规模强化学习可以通过去中心化、异构的资源实现数据中心级别的性能。

论文旨在解决现代基于强化学习（RL）的大型语言模型（LLMs）后训练过程中，轨迹采样和策略优化在同一GPU集群上共存所带来的问题。由于系统需要在推理与训练任务之间切换，违反了分布式训练系统底层的单程序多数据（SPMD）假设。这是一个随着LLM规模扩大而变得愈发严重的新问题。

论文提出Echo系统，其核心思路是将轨迹生成和策略优化两个阶段在异构的“推理”和“训练”节点群之间清晰解耦，从而避免资源冲突和效率损失。Echo引入了两种轻量级同步协议：顺序拉取模式和异步推拉模式，分别用于最小化偏差和最大化硬件利用率。

1. Echo在四个具有代表性的RL任务上进行实验，使用了Qwen系列多个大模型，包括Qwen3-4B、Qwen2.5-7B、Qwen3-30B-A3B-Thinking-2507和Qwen3-32B。 2. 实验在一个地理分布的集群上进行，验证了Echo在收敛速度和最终奖励方面与完全共位的Verl基线系统相当。 3. Echo成功将轨迹生成任务卸载到边缘计算硬件，展示了大规模RL在去中心化、异构资源下实现数据中心级性能的潜力。 4. 实验设计强调了系统的统计效率和硬件利用率，且未提及开源代码或数据集发布情况。 5. 未来值得深入研究的方向包括进一步优化异构资源间的通信协议、扩展至更多实际应用场景以及对更复杂RL任务的支持。

1. Verl: Scalable RL for Large Models 2. DeepSpeed-RL: High-Throughput Reinforcement Learning for Large-Scale Models 3. ZeRO-RL: Memory-Efficient Reinforcement Learning for Training Large Models 4. Ray RLlib: A Distributed Framework for Reinforcement Learning 5. TorchBench: Benchmarking Distributed Training and RL Systems for Deep Learning