Open-TeleVision: Teleoperation with Immersive Active Visual Feedback

本文介绍了远程操作技术作为收集机器人学习所需数据的一种有效方法。远程操作系统的直观性和易用性对于确保高质量、多样化和可扩展的数据至关重要。为实现这一目标，作者提出了一种沉浸式远程操作系统Open-TeleVision，使操作者能够以立体视觉方式主动感知机器人周围的环境。此外，该系统还能够将操作者的手臂和手部运动映射到机器人上，创造出一种沉浸式体验，就好像操作者的思维被传输到了机器人的实体中。作者通过收集数据并在两个不同的人形机器人上进行了四项长期、精确的任务（罐头分类、罐头插入、折叠和卸载），并训练了模仿学习策略，最终在现实世界中进行了部署，验证了该系统的有效性。该系统已经开源，网址为：https://robot-tv.github.io/。

本论文旨在解决机器人学习中数据收集的问题，提出了一种沉浸式远程操作系统Open-TeleVision，以便操作员可以主动感知机器人周围的环境，并将其手臂和手部运动映射到机器人上，从而收集高质量、多样化和可扩展的数据。

Open-TeleVision是一种沉浸式远程操作系统，可以让操作员在立体声环境中主动感知机器人周围的环境，并将其手臂和手部运动映射到机器人上，从而实现机器人学习从演示中收集数据的目的。

本论文提出的Open-TeleVision系统采用沉浸式远程操作方式，可以让操作员在立体声环境中感知机器人周围的环境，并将其手臂和手部运动映射到机器人上，从而收集高质量、多样化和可扩展的数据。本文在4个长周期、精确任务（罐子分类、罐子插入、折叠和卸载）上验证了系统的有效性，并在两个不同的人形机器人上进行了部署。Open-TeleVision系统是开源的。

最近在这个领域中，还有一些相关的研究。例如，K. Hausman等人提出了一种基于虚拟现实的远程操作系统，可以在虚拟现实环境中进行机器人操作。还有一些研究探讨了如何在没有人类演示的情况下，使用强化学习来训练机器人执行任务。