OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning

我们提出了OmniH2O（全方位人机互动），这是一个基于学习的系统，用于全身机器人的远程操纵和自主控制。使用运动学姿态作为通用控制接口，OmniH2O使人类可以通过多种方式控制一个具有灵巧手臂的全尺寸机器人，包括通过虚拟现实头戴设备进行实时远程操纵，口头指令和RGB相机。OmniH2O还通过从远程操作演示中学习或与GPT-4等前沿模型集成，实现了全面的自主控制。OmniH2O通过远程操纵或自主控制，在各种现实世界的全身任务中展示了多样性和灵活性，例如进行多项运动、移动和操纵物体以及与人类互动。我们开发了基于强化学习的模拟到实际管道，其中包括对人类运动数据集进行大规模重定向和增强、通过模仿特权教师策略学习实际部署策略，以及奖励设计以增强稳健性和稳定性。我们发布了第一个全身机器人控制数据集OmniH2O-6，其中包含六个日常任务，并展示了从远程操作数据集中学习全身机器人技能。

OmniH2O旨在开发一种全身人形机器人的远程操作和自主学习系统，以解决远程操作和自主学习的挑战。

OmniH2O使用运动学姿态作为通用控制接口，通过虚拟现实头戴式显示器、口头指令和RGB相机等多种方式，使人类能够远程控制全尺寸的人形机器人。同时，OmniH2O还通过从远程操作演示中学习或与前沿模型（如GPT-4）集成来实现完全自主学习。

OmniH2O开发了基于RL的sim-to-real管道，包括对人体运动数据集的大规模重定向和增强、通过模仿特权教师策略学习真实世界可部署策略以及奖励设计以增强鲁棒性和稳定性。此外，OmniH2O发布了第一个人形机器人全身控制数据集OmniH2O-6，并展示了从远程操作数据集中学习人形机器人全身技能。

最近的相关研究包括：《通过增量学习实现远程操作人形机器人的自主学习》、《基于深度强化学习的远程操作人形机器人控制》、《基于运动捕捉的人形机器人全身运动控制》等。