DexDribbler: Learning Dexterous Soccer Manipulation via Dynamic Supervision

学习四肢机器人熟练的运动策略因其能够处理不同的地形并模拟智能行为而变得越来越受欢迎。然而，关于移动物体的关节操作和腿部运动（例如踢足球）的结合，在学习领域中受到的关注很少，尽管这对于人类和聪明的动物来说是自然的。解决这个多任务问题的关键挑战是从操作对象的状态和目标中推断出运动的目标。直接从训练经验中捕捉对象状态和机器人运动之间的隐含关系可能很难。我们提出添加一个反馈控制块来准确计算必要的身体级别运动，并将输出作为动态关节级别运动监督的显式输入。我们进一步利用改进的球动态模型、扩展的上下文辅助估计器和全面的球观察器，以促进将在模拟中学习的策略转移到现实世界。我们观察到，我们的学习方案不仅可以使策略网络更快地收敛，还可以使足球机器人在平坦的表面上执行像快速切割和转弯这样的复杂操作，这是以前方法所缺乏的能力。视频和代码可在https://github.com/SysCV/soccer-player获得。

解决问题：论文试图解决运动机器人在多任务中同时处理关节操纵和运动的问题，提出了一种新的学习策略。

关键思路：论文提出了在学习策略中添加反馈控制块，以计算必要的身体级运动，并将其用作显式的动态关节级运动监督，同时利用改进的球动态模型、扩展的上下文辅助估计器和综合的球观察器来促进从模拟到现实的策略转移。

其他亮点：论文的学习方案不仅可以使策略网络更快地收敛，还可以使足球机器人在平坦表面上执行尖锐的切割和转向等复杂动作，这是以前方法所缺乏的。实验使用了一个改进的球动态模型，一个扩展的上下文辅助估计器和一个全面的球观察器，并提供了视频和代码。

相关研究：在这个领域中，最近的相关研究包括“Learning to Walk via Deep Reinforcement Learning”和“Deep Reinforcement Learning for Robotic Manipulation: A Survey”，等等。