RL-augmented MPC Framework for Agile and Robust Bipedal Footstep Locomotion Planning and Control

本文提出了一种在线双足步态规划策略，将模型预测控制（MPC）和强化学习（RL）相结合，实现了灵活且稳健的双足机动。虽然基于MPC的脚步放置控制器已经证明了其在实现动态步态方面的有效性，但其性能通常受到简化模型和假设的限制。为了解决这个挑战，我们开发了一种新的脚步放置控制器，利用学习策略来弥合使用简化模型和更复杂的完整机器人系统之间的差距。具体而言，我们的方法采用了一种独特的组合，即基于ALIP的MPC脚步放置控制器用于次优步态规划，学习策略用于细化脚步调整，从而使得得到的脚步策略能够有效地捕捉机器人的全身动力学。这种集成将MPC的预测能力与RL的灵活性和适应性相结合，产生了协同效应。我们通过一系列实验验证了我们的框架的有效性，使用全身人形机器人DRACO 3，结果显示在动态步态性能方面有显著的改善，包括更好地跟踪各种行走速度，能够可靠地转弯和穿越具有挑战性的地形，同时与基线ALIP-based MPC方法相比，保持了步态的稳健性和稳定性。

论文旨在通过结合模型预测控制（MPC）和强化学习（RL）的方法，提出一种在线双足步态规划策略，以实现灵活和稳健的双足机器人机动性。该方法旨在解决MPC-based足部位置控制器在使用简化模型和假设时性能受限的问题。

论文提出了一种新颖的足部位置控制器，结合了ALIP-based MPC足部位置控制器和学习策略，以有效捕捉机器人的全身动力学。

论文通过一系列实验验证了所提出的框架的有效性，包括更好地跟踪广泛的步行速度，实现可靠的转弯和穿越具有挑战性的地形，同时保持步态的稳健性和稳定性。论文使用DRACO 3全身人形机器人进行实验，该方法还可以为机器人的全身动力学提供更好的预测能力和灵活性。

最近的相关研究包括：'Deep Reinforcement Learning for Bipedal Locomotion Control', 'Dynamic Locomotion of Biped Robots Using Reinforcement Learning and a Two-Level Controller', 'Robust Bipedal Walking Control Based on Reinforcement Learning with Disturbance Observer'等。