Steering Your Diffusion Policy with Latent Space Reinforcement Learning

通过人类演示学习的机器人控制策略在许多实际应用中取得了令人印象深刻的结果。然而，在初始性能不理想的情况下，这种情况常常出现在新的开放世界场景中，通过行为克隆（BC）学习的策略通常需要收集额外的人类演示来进一步改进其行为——这是一个昂贵且耗时的过程。相比之下，强化学习（RL）有望实现自主的在线策略改进，但由于其通常需要大量样本，往往难以达成这一目标。在这项工作中，我们朝着通过高效的现实世界强化学习实现快速自主适应行为克隆训练的策略迈出了步伐。特别是针对扩散策略——一种最先进的行为克隆方法，我们提出了通过强化学习进行扩散引导（DSRL）：通过对扩散策略的潜在噪声空间运行强化学习来调整该策略。我们证明了DSRL具有极高的样本效率，仅需黑箱访问行为克隆策略，并能够实现有效的现实世界自主策略改进。此外，DSRL避免了许多与微调扩散策略相关的挑战，完全无需修改基础策略的权重。我们在模拟基准测试、现实世界的机器人任务以及预训练通用策略的适应中展示了DSRL，说明了其样本效率和在现实世界策略改进中的有效性能。

该论文试图解决在开放世界场景中，通过行为克隆（BC）学习的机器人控制策略初始性能不佳的问题。传统方法需要额外收集人类演示数据以改进策略，但这一过程昂贵且耗时。论文提出了一种新的解决方案，旨在利用强化学习（RL）实现BC策略的快速自主适应，同时克服RL样本效率低下的问题。

论文提出了扩散引导通过强化学习（DSRL）的方法，通过在BC策略的潜在噪声空间上运行RL来调整策略，而无需修改原始扩散模型的权重。这种方法充分利用了扩散策略的优势，并显著提高了样本效率，使得在真实世界中进行策略改进成为可能。相比现有研究，DSRL避免了微调扩散模型的复杂性，仅需黑盒访问BC策略即可实现高效优化。

1. DSRL展示了极高的样本效率，适用于模拟和真实世界的机器人任务。 2. 论文验证了DSRL在多种任务中的有效性，包括模拟基准测试、实际机器人任务以及预训练通用策略的适应。 3. 方法无需修改基础策略的权重，简化了实现流程。 4. 实验设计涵盖了多个领域，证明了其广泛适用性。 5. 尽管未明确提及代码开源状态，但论文为未来研究提供了清晰的方向，例如探索更复杂的任务和环境中的应用。

相关工作包括： 1. 行为克隆（BC）及其在机器人控制中的应用。 2. 强化学习在机器人领域的研究，如PPO、SAC等算法的应用。 3. 扩散模型在策略学习中的使用，例如《Diffusion Policies for Robot Manipulation》。 4. 自主适应策略的研究，例如《Online Fine-Tuning of Diffusion Models》和《Sample-Efficient Reinforcement Learning for Robotics》。 这些研究共同推动了机器人控制策略从模仿学习到自主优化的发展。