Leveraging Symmetry in RL-based Legged Locomotion Control

无模型强化学习是解决复杂机器人控制问题的一种有前途的方法，但是在没有机器人运动学和动力学形态信息的情况下，面临探索困难。对称状态下多种模态的欠探索导致行为通常是不自然和次优的。这个问题在具有形态对称性的机器人系统中尤为突出，例如，对于腿式机器人，由此产生的非对称和非周期性行为会影响性能、鲁棒性和向真实硬件的可转移性。为了缓解这个挑战，我们可以利用对称性来指导和改进策略学习中的探索，通过等变/不变性约束。在本文中，我们研究了两种整合对称性的方法的有效性：修改网络架构以严格等变/不变，和利用数据增强来近似等变/不变的Actor-Critic。我们在具有挑战性的步行操纵和双足步行任务上实现了这些方法，并与无约束基线进行了比较。我们发现，严格等变策略在模拟中始终表现出比其他方法更高的样本效率和任务性能。此外，整合对称性的方法表现出更好的步态质量、更高的鲁棒性，并且可以零-shot地部署到真实世界的实验中。

如何利用对称性提高模型无关强化学习中机器人控制问题的探索效率和性能？

通过对称性约束来改进策略学习中的探索，包括修改网络结构和数据增强来近似等变/不变的演员-评论家模型。

论文实现了两种方法，并在挑战性的机器人控制任务上进行了比较。结果表明，使用严格等变策略的样本效率和任务性能均优于其他方法，并且表现出更好的步态质量和鲁棒性，可以在实际实验中零-shot部署。

最近的相关研究包括：Symmetry and Multi-Modality in Deep Reinforcement Learning, Learning Symmetric Collaborative Manipulation with Proprioceptive Features, Learning to Walk via Deep Reinforcement Learning on a Quadruped Robot。