DiffuseLoco: Real-Time Legged Locomotion Control with Diffusion from Offline Datasets

这项工作介绍了DiffuseLoco，一个框架，用于从离线数据集训练多技能扩散基策略，以实现对现实世界中机器人的多样化技能的实时控制。大规模的离线学习已经在计算机视觉、自然语言处理和机器人操作领域取得了突破。然而，将学习扩展到多技能的机器人运动，特别是在单个策略中，对于以前的在线强化学习方法来说，存在重大挑战。为了解决这个问题，我们提出了一个新颖的可扩展框架，利用扩散模型直接从离线多模态数据集中学习多种运动技能。DiffuseLoco具有专为动态系统实时控制而设计的设计选择，包括递归地视野控制和延迟输入。它能够在执行各种运动技能时再现多模态，零-shot转移至真实的四足机器人，并可部署在边缘计算设备上。此外，DiffuseLoco展示了技能之间的自由转换和对环境变化的鲁棒性。通过在实际实验中进行广泛的基准测试，DiffuseLoco表现出比以前的强化学习和非扩散行为克隆基线更好的稳定性和速度跟踪性能。通过全面的消融研究验证了设计选择。这项工作通过扩展大型、表达丰富的模型和多样化的离线数据集，为扩大基于学习的机器人运动控制器的学习提供了新的可能性。

本文旨在解决在多技能动态四足机器人的离线数据集上训练扩散模型的问题，以实现实时控制。

DiffuseLoco框架利用扩散模型直接从离线多模态数据集中学习，具有零样本迁移和自由技能转换等特点，同时具有较好的鲁棒性和稳定性。

DiffuseLoco框架在动态系统的实时控制上具有独特的设计，包括递推控制和延迟输入。实验结果表明，DiffuseLoco在实际机器人上的表现优于基线模型，同时具有较好的稳定性和速度跟踪性能。

与本文相关的研究包括：《Multi-Contact Locomotion via Learned Contact Implicit Trajectories》、《Learning to Run Challenge》、《Robust Adversarial Reinforcement Learning》等。