TeleMoMa: A Modular and Versatile Teleoperation System for Mobile Manipulation

机器人中模仿学习的一个关键瓶颈是缺乏数据。在移动操作中，由于缺乏可用和易于使用的远程操作界面，收集演示比静止操作更加困难。在这项工作中，我们展示了TeleMoMa，一种用于移动机械臂全身远程操作的通用和模块化接口。TeleMoMa将多个人类接口统一起来，包括RGB和深度相机、虚拟现实控制器、键盘、操纵杆等，以及任意组合。在其更易于接近的版本中，TeleMoMa只需要使用视觉（例如RGB-D相机）即可降低人类提供移动操作演示的门槛。我们通过在模拟和现实世界中远程操作几个现有的移动机械臂-PAL Tiago++、丰田HSR和Fetch-展示了TeleMoMa的多功能性。我们通过训练模仿学习策略来演示TeleMoMa收集的演示的质量，这些策略涉及同步全身运动的移动操作任务。最后，我们还展示了TeleMoMa的远程操作通道，可以在现场远程操作机器人，也可以通过计算机网络发送命令和观察进行远程操作，并进行用户研究以评估初学者使用我们的系统不同人类接口组合收集演示的难易程度。我们希望TeleMoMa成为社区的有用工具，使研究人员能够收集全身移动操作演示。更多信息和视频结果请见https://robin-lab.cs.utexas.edu/telemoma-web。

解决移动机器人操作中数据不足的问题，提供一种通用的、模块化的接口来进行全身操作的远程演示

提出了一种名为TeleMoMa的接口，将多个人机接口整合起来，包括RGB和深度相机、虚拟现实控制器、键盘、操纵杆等，使人们可以更容易地提供移动操作演示，并通过TeleMoMa收集高质量的演示数据

使用TeleMoMa接口进行了多项实验，包括在模拟和现实环境中对PAL Tiago++、Toyota HSR和Fetch等多个移动机器人进行全身远程操作，并通过TeleMoMa收集的演示数据进行了移动操作任务的模仿学习。研究还进行了用户研究，评估了不同人机接口组合对于新手用户学习收集演示数据的难易程度。

与本文相关的研究包括移动机器人操作中的数据收集方法和模仿学习算法。其中，与TeleMoMa最相关的工作是RoboTurk和RoboFlow等。