Adaptive Energy Regularization for Autonomous Gait Transition and Energy-Efficient Quadruped Locomotion

在四足机器人的强化学习中，制定有效的奖励策略至关重要。预定义的步态模式和复杂的奖励系统被广泛用于稳定策略训练。借鉴人类和动物自然的运动行为，通过调整权重，我们提出了一种简化的、以能量为中心的奖励策略，以促进四足机器人在各种速度下的节能运动的发展。通过实现自适应能量奖励函数并根据速度调整权重，我们证明了我们的方法使ANYmal-C和Unitree Go1机器人能够自主选择适当的步态，例如在较低速度下进行四拍步行，在较高速度下进行小跑，从而实现了比以前使用复杂奖励设计和先前步态知识的方法更好的能量效率和稳定速度跟踪。我们的策略的有效性通过在IsaacGym仿真环境和实际机器人上的模拟得到验证，证明了它促进稳定和适应性运动的潜力。

本文旨在解决四足机器人在强化学习过程中如何制定有效的奖励策略，以实现节能的步态选择，提高能源效率和稳定性的问题。

本文提出一种简化的以能量为中心的奖励策略，通过实现自适应能量奖励函数并根据速度调整权重，使机器人能够自主选择适当的步态，从而实现节能和稳定速度跟踪。相比使用复杂的奖励设计和先前的步态知识的方法，这种方法能够显著提高能源效率和稳定性。

本文在IsaacGym模拟环境和真实机器人上进行了实验验证，并展示了其潜力，有助于促进稳定和自适应的机器人运动。

相关研究包括：1.《Deep Reinforcement Learning for Robotic Manipulation: A Review》；2.《Reward Design for Reinforcement Learning of Manipulation Tasks with Continuous Actions》；3.《A Survey of Reinforcement Learning Informed by Natural Language》等。