HITTER: A HumanoId Table TEnnis Robot via Hierarchical Planning and Learning

人形机器人在运动和全身控制方面最近取得了令人印象的进展，但在需要通过操作与动态环境进行快速交互的任务中，它们仍然存在局限。乒乓球就是这样一个挑战性的例子：由于球速超过每秒5米，选手必须在不到一秒的反应时间内完成感知、预测和动作，这对敏捷性和精确性都提出了很高的要求。为了解决这一问题，我们提出了一种用于人形机器人打乒乓球的分层框架，该框架结合了基于模型的规划器，用于球轨迹预测和球拍目标规划，以及一个基于强化学习的全身控制器。规划器负责确定击球的位置、速度和时机，而控制器则生成协调的手臂和腿部动作，以模仿人类击球动作，并在连续多回合中保持稳定性和敏捷性。此外，为了促使动作更加自然，我们在训练过程中引入了人类动作参考。我们在一台通用人形机器人上验证了该系统，实现了与人类对手连续击球最多达106次，以及与另一台人形机器人之间持续的对打。这些结果展示了在真实世界中实现人形机器人乒乓球对抗的能力，其反应控制达到亚秒级水平，标志着向实现敏捷且具有互动性的人形机器人行为迈出了重要一步。

论文试图解决人形机器人在需要快速反应和高精度操作的动态环境交互任务中的局限性，特别是在乒乓球这样要求亚秒级反应时间和全身协调控制的场景中的挑战。这是一个相对较新的问题，因为尽管人形机器人在运动控制方面取得了进展，但在动态、快节奏的互动任务中仍存在显著瓶颈。

论文提出了一种分层框架，将基于模型的规划器（用于球轨迹预测和球拍目标规划）与基于强化学习的全身控制器相结合，从而实现人形机器人在乒乓球任务中的快速反应和稳定击球。相比现有研究，其新意在于将模型预测与强化学习控制结合，并引入人类动作参考以增强运动的自然性，从而实现连续多回合的击球。

1. 在通用人形机器人上实现了最多106次连续击球，与人类对手进行对打，并实现了与另一台人形机器人的持续对抗。 2. 实验设计强调亚秒级反应控制和全身协调，验证了系统在真实世界中的有效性。 3. 整合人类动作参考数据进行训练，提升了动作的自然性和效率。 4. 未明确提及是否开源代码，但实验平台基于真实机器人，具有较高的工程实现门槛。 5. 未来值得深入研究的方向包括提升对抗策略的智能性、增强对非结构化环境的适应能力，以及将该框架扩展到更多动态交互任务。

1. Learning to Play Table Tennis From Scratch with a Humanoid Robot (2022) 2. Whole-Body Control for Dynamic Locomotion and Manipulation in Humanoid Robots (2021) 3. Model-Based Planning Combined with Reinforcement Learning for Agile Robotic Behaviors (2023) 4. Human Motion Imitation for Real-Time Reactive Control in Robotics (2020) 5. Deep Reinforcement Learning for Real-Time Trajectory Generation in Dynamic Environments (2023)