Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning

远程操作是收集人类示范的重要工具，但是使用双手灵巧的机器人仍然是一个挑战。现有的远程操作系统很难处理协调两只手进行复杂操作的复杂性。我们推出了Bunny-VisionPro，这是一个实时的双手灵巧远程操作系统，利用了VR头戴式显示器。与以往基于视觉的远程操作系统不同，我们设计了新型低成本设备，为操作者提供触觉反馈，增强了沉浸感。我们的系统通过创新设计，将碰撞和奇异性避免纳入安全考虑，同时保持实时性能。Bunny-VisionPro在标准任务套件上优于以前的系统，实现了更高的成功率和减少的任务完成时间。此外，高质量的远程操作演示提高了下游的模仿学习性能，导致更好的泛化能力。值得注意的是，Bunny-VisionPro使得具有挑战性的多阶段、长视程的灵巧操作任务的模仿学习成为可能，这在以前的工作中很少被解决。我们的系统能够处理双手操作，同时优先考虑安全和实时性能，这使它成为推进灵巧操作和模仿学习的强大工具。

解决问题：论文旨在解决双手灵巧操纵的远程操作困难的问题，并提高模仿学习的性能和通用性。

关键思路：论文提出了一种基于VR头显和低成本设备的实时双手远程操作系统Bunny-VisionPro，该系统通过创新的设计实现了避免碰撞和奇异性的安全性和实时性能的平衡，并通过提供触觉反馈来增强沉浸感。

其他亮点：Bunny-VisionPro在标准任务套件上的表现优于先前的系统，实现了更高的成功率和较短的任务完成时间。高质量的远程操作演示提高了下游的模仿学习性能，导致更好的通用性。此外，Bunny-VisionPro还可以处理具有挑战性的多阶段、长视程的双手灵巧操作任务。

相关研究：在这个领域中的最近相关研究包括：1.《Dual-Arm Manipulation with Hand-Arm Synergy: A Review》；2.《A Survey on Teleoperation of Robots Using VR Technology》；3.《Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstrations》。