TWIST: Teleoperated Whole-Body Imitation System

通过全身方式远程操控人形机器人是迈向开发通用机器人智能的关键一步，其中人体运动为控制所有自由度提供了一个理想的接口。然而，大多数当前的人形机器人远程操控系统未能实现协调的全身行为，通常仅限于孤立的移动或操作任务。我们提出了基于全身运动模仿的远程操控系统（TWIST），这是一种通过全身运动模仿来实现人形机器人远程操控的系统。首先，我们将人类动作捕捉数据重新定向到人形机器人上以生成参考运动片段。接着，我们通过结合强化学习和行为克隆（RL+BC）开发了一种稳健、自适应且响应迅速的全身控制器。通过系统的分析，我们展示了如何通过融入特权未来运动帧和真实世界动作捕捉（MoCap）数据来提高跟踪精度。TWIST 使真实世界的人形机器人能够通过单一统一的神经网络控制器实现前所未有的、多样化的且协调的全身运动技能，涵盖全身操作、腿式操作、移动以及表达性动作。项目网站：https://humanoid-teleop.github.io

本论文试图解决当前大多数类人机器人遥操作系统的局限性问题，即这些系统通常只能实现孤立的运动或操作任务，而无法实现协调的全身行为。这是一个重要的研究问题，因为开发能够模仿人类全身运动的类人机器人是迈向通用机器人智能的关键一步。

论文提出了一种名为TWIST（Teleoperated Whole-Body Imitation System）的系统，通过结合强化学习和行为克隆（RL+BC）来生成鲁棒、自适应和响应迅速的全身控制器。该方法首先将人类动作捕捉数据重新映射到类人机器人上，生成参考动作片段，然后利用特权未来运动帧和真实世界动作捕捉数据提升跟踪精度。相比现有研究，TWIST使用单一统一的神经网络控制器实现了包括全身操作、腿部操作、运动和表达性动作在内的多种复杂技能。

1. TWIST系统通过结合RL和BC，显著提高了类人机器人对复杂全身动作的跟踪能力；2. 系统能够处理多种任务类型，包括全身操作、腿部操作和表达性动作；3. 实验设计系统化，验证了使用特权未来运动帧和真实世界MoCap数据的有效性；4. 论文提供了项目网站，展示了相关实验视频，并可能包含开源代码；5. 值得进一步研究的方向包括优化控制器性能、探索更多应用场景以及降低对高质量MoCap数据的依赖。

最近的相关研究包括：1. 使用深度学习技术进行类人机器人运动模仿的研究，例如《DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills》；2. 结合动作捕捉和强化学习实现复杂机器人技能的研究，如《Learning Agile and Dynamic Motor Skills for Legged Robots》；3. 针对类人机器人遥操作的其他工作，例如《Humanoid Teleoperation via Shared Autonomy and Learned Policies》。这些研究共同推动了类人机器人在复杂环境中的应用能力。