Integrating Model-Based Footstep Planning with Model-Free Reinforcement Learning for Dynamic Legged Locomotion

在这项工作中，我们引入了一个控制框架，将基于模型的脚步规划与强化学习（RL）相结合，利用从线性倒立摆（LIP）动力学推导出的期望脚步模式。利用LIP模型，我们的方法可以预测机器人状态并确定所需的脚步放置位置，给出速度指令。然后，我们训练一个RL策略来跟踪脚步放置位置，而不是遵循从LIP模型推导出的完整参考运动。这个物理模型的部分指导使RL策略能够将物理信息动力学的预测能力和RL控制器的适应性特征相结合，而不会使策略过度适应模板模型。我们的方法在MIT人形机器人上得到验证，证明我们的策略可以实现稳定而动态的行走和转弯。我们通过将运动任务扩展到未见过的不平坦地形，进一步验证了我们策略的适应性和泛化能力。在硬件部署期间，我们在跑步机上实现了高达1.5米/秒的前进速度，并成功地执行了90度和180度转弯等动态运动机动。

论文旨在通过将模型驱动的步态规划与强化学习相结合，利用从线性倒立摆（LIP）动力学导出的期望步态模式，解决机器人动态行走的问题。同时，论文还试图验证该方法是否适用于不同的地形。

论文的关键思路是利用LIP模型预测机器人状态并确定期望的脚步放置位置，然后训练强化学习策略来跟踪脚步放置位置，以实现稳定而动态的机器人行走。

论文通过在MIT人形机器人上进行实验验证了该方法的有效性，证明了该策略可以实现稳定而动态的行走和转向，并且可以适应不同的地形。此外，论文还提供了数据集和开源代码，为进一步研究提供了便利。

与该论文相关的研究包括基于模型的步态规划和强化学习的各种组合，以及机器人在不同地形下的运动控制。例如，标题为“Model-based Reinforcement Learning for Closed-loop Locomotion of Soft Robots”的论文探索了基于模型的强化学习方法在软体机器人运动控制中的应用。