Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control

本文介绍了使用深度强化学习（RL）创建双足机器人动态运动控制器的全面研究。我们不仅关注单一的运动技能，而是开发了一种通用的控制解决方案，可用于一系列动态双足技能，从周期性的行走和奔跑到非周期性的跳跃和站立。我们的基于RL的控制器采用了一种新颖的双历史架构，利用机器人的长期和短期输入/输出（I/O）历史记录。当通过提出的端到端RL方法进行训练时，这种控制架构在模拟和现实世界中的各种技能方面始终优于其他方法。该研究还探讨了所提出的RL系统在开发运动控制器中引入的适应性和鲁棒性。我们证明了所提出的架构可以通过有效使用机器人的I/O历史记录来适应时间不变的动力学转移和时间变化的变化，例如接触事件。此外，我们确定任务随机化是另一个关键的鲁棒性来源，促进更好的任务泛化和对干扰的遵从。最终的控制策略可以成功部署在Cassie上，这是一种扭矩控制的人形双足机器人。这项工作通过广泛的现实世界实验推动了双足机器人的敏捷性极限。我们展示了各种各样的运动技能，包括：稳健的站立，多功能的行走，快速奔跑，演示了400米冲刺，以及一系列多样化的跳跃技能，例如站立跳远和高跳。

本论文旨在使用深度强化学习（RL）为双足机器人创建动态 locomotion 控制器，解决多种动态双足技能的控制问题。

论文提出了一种新颖的双历史架构，利用机器人的长期和短期输入/输出（I/O）历史记录，通过端到端的RL方法进行训练，实现了对于各种技能的控制。

论文设计了实验来展示所提出的RL系统的适应性和鲁棒性，实验结果表明该系统可以适应时间不变的动态变化和时间变化的变化，同时实现了对于任务的随机化，提高了任务的泛化性和对于干扰的稳定性。此外，论文还展示了控制策略在Cassie双足机器人上的成功应用，实现了多种动态双足技能。

最近的相关研究包括： 1. Learning to Walk via Deep Reinforcement Learning by Yan et al. 2. Deep Reinforcement Learning for Robust Locomotion Control of Biped Robots by Zhang et al. 3. Dynamic Movement Primitives: Learning Attractor Models for Motor Behaviors by Schaal et al.