Vision in Action: Learning Active Perception from Human Demonstrations

我们提出了“视觉在行动”（ViA），这是一个用于双臂机器人操作的主动感知系统。ViA能够直接从人类演示中学习与任务相关的主动感知策略（例如，搜索、跟踪和聚焦）。在硬件方面，ViA采用了一个简单而有效的6自由度机械颈，以实现灵活且类似人类的头部运动。为了捕捉人类的主动感知策略，我们设计了一个基于虚拟现实（VR）的远程操作系统接口，该接口在机器人和人类操作员之间创建了一个共享的观察空间。为减轻因机器人物理运动延迟导致的VR晕动症，该接口使用了一种中间的3D场景表示方法，使操作员端能够实时渲染视图，同时异步更新机器人的最新观测结果。这些设计元素共同作用，使得ViA能够为三个复杂的、多阶段的双臂操作任务学习稳健的视觉-运动策略，这些任务涉及视觉遮挡问题，其表现显著优于基线系统。

该论文试图解决机器人在复杂多阶段双臂操作任务中的视觉感知和动作控制问题，特别是涉及视觉遮挡的情况。这是一个具有挑战性的问题，因为传统的被动感知系统难以处理动态场景变化和遮挡。

论文提出了一种名为Vision in Action (ViA) 的主动感知系统，通过模仿人类的主动感知策略（如搜索、跟踪和聚焦）来增强机器人的视觉能力。相比现有方法，ViA结合了6自由度机械颈以实现类似人类头部运动，并通过VR远程操作接口捕捉人类的感知行为，同时采用中间3D场景表示来减少VR运动病引起的延迟问题。

1. 提出了一个新颖的VR远程操作框架，允许实时共享机器人与人类操作员之间的观察空间；2. 使用中间3D场景表示缓解了因机器人物理移动延迟导致的VR运动病问题；3. 在三个复杂的多阶段双臂操作任务中验证了系统的有效性，显著优于基线系统；4. 论文未提及是否开源代码或具体数据集细节，但实验设计展示了系统的鲁棒性和泛化能力，未来可进一步研究不同环境下的适应性。

近期相关研究包括：1. 'Learning Dexterous In-Hand Manipulation' 探讨了灵巧手部操作的学习；2. 'Teleoperating Robots with Virtual Reality' 研究了VR技术在机器人远程操控中的应用；3. 'Active Perception for Robotic Manipulation' 集中于主动感知对机器人抓取任务的帮助；4. 'Imitation Learning for Active Vision' 探索了通过模仿学习改进视觉感知的方法。