I-CTRL: Imitation to Control Humanoid Robots Through Constrained Reinforcement Learning

本文探讨了精细调整机器人动作的迫切需求，尽管通过人对人形机器人的再定位方法实现了高度的视觉相似性，但在物理领域的实际执行中仍存在缺陷。图形学界现有的技术往往优先考虑视觉保真度，而非基于物理可行性，这给在实际应用中部署双足系统带来了重大挑战。我们的研究引入了一种约束强化学习算法，以在双足人形机器人上产生基于物理的高质量运动模仿，从而增强运动相似性，同时成功地跟随参考人类轨迹。我们将我们的框架命名为I-CTRL。通过将运动模仿问题重新制定为非基于物理的再定位运动的约束细化，我们的框架在运动模仿方面表现出色，具有简单且独特的奖励，可以在四个机器人之间推广。此外，我们的框架可以使用唯一的强化学习代理程序跟随大规模的运动数据集。所提出的方法在推进双足机器人的控制方面迈出了重要的一步，强调了将视觉和物理现实相一致以实现成功的运动模仿的重要性。

本篇论文旨在解决现有机器人运动控制算法中，视觉相似度很高但在物理层面上存在问题的情况，针对这一问题提出了一种基于约束强化学习算法的运动控制框架。

论文提出了一种名为I-CTRL的框架，通过将运动模仿问题转化为基于非物理学的模仿运动的约束优化问题，实现了在保证运动相似度的同时，控制机器人在物理层面上的可行性。

本文的亮点在于提出了一种新的运动控制框架，并且在四个机器人上的实验结果表明该框架具有较好的泛化性能。此外，论文还使用了大规模的运动数据集，并且提供了开源代码。

最近相关研究包括：《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》、《Learning Agile and Dynamic Motor Skills for Legged Robots》等。