ARMADA: Augmented Reality for Robot Manipulation and Robot-Free Data Acquisition

远程操作机器人模仿学习受到硬件可用性的限制。能否在没有物理机器人的情况下收集高质量的机器人数据？我们提出了一种增强Apple Vision Pro实时虚拟机器人反馈的系统。通过为用户提供对其动作如何转化为机器人运动的直观理解，我们能够收集符合物理机器人硬件限制的自然徒手人类数据。我们进行了一项用户研究，15名参与者在3种不同的反馈条件下展示了3个不同的任务，并直接将收集到的轨迹重放在物理机器人硬件上。结果表明，实时机器人反馈显著提高了收集数据的质量，这为在没有机器人硬件的情况下实现可扩展的人类数据收集开辟了新的途径。视频和更多信息请访问：https://nataliya.dev/armada。

该论文旨在解决通过物理机器人硬件收集高质量机器人数据时遇到的瓶颈问题。由于硬件可用性的限制，这一问题成为了机器人模仿学习中的一个挑战。

论文提出了一种创新方法，通过增强Apple Vision Pro设备提供实时虚拟机器人反馈，使用户能够直观地理解他们的动作如何转化为机器人的运动。这种方法允许在没有实际机器人的情况下收集自然的手势数据，并且这些数据与物理机器人硬件的限制相兼容。

论文通过用户研究验证了其方法的有效性，实验设计包括15名参与者演示3种不同的任务，每种任务在3种不同的反馈条件下进行。结果显示，实时机器人反馈显著提高了收集到的数据质量。此外，研究团队提供了视频和其他资源，进一步展示了系统的潜力和应用前景。项目网站为 https://nataliya.dev/armada。

近期在机器人模仿学习领域，还有一些相关研究值得关注。例如，《Learning Dexterous In-Hand Manipulation》探讨了通过深度强化学习实现灵巧的手部操作；《One-Shot Imitation Learning》提出了从单个演示中学习复杂任务的方法；《Teleoperated Imitation Learning》则研究了通过远程操作收集高质量演示数据的技术。