Bi-KVIL: Keypoints-based Visual Imitation Learning of Bimanual Manipulation Tasks

视觉模仿学习在学习单手操纵任务方面取得了令人瞩目的进展，得益于计算机视觉的最新进步。然而，从双手视觉演示中学习双手协调策略和复杂的物体关系，以及将其推广到新的混乱场景中的分类对象仍然是未解决的挑战。在本文中，我们将基于关键点的视觉模仿学习（K-VIL）扩展到双手操纵任务。所提出的 Bi-KVIL 共同提取所谓的“混合主从关系”（HMSR）、双手协调策略和子符号任务表示。我们的双手任务表示是以物体为中心、独立于具体实现、视角不变的，因此可以很好地推广到新的场景中的分类对象。我们在各种实际应用中评估了我们的方法，展示了它能够从少量的人类演示视频中学习精细的双手操纵任务的能力。视频和源代码可在 https://sites.google.com/view/bi-kvil 上找到。

解决问题：本文试图解决从双手视觉演示中学习双手协调策略和复杂对象关系的问题，并将其推广到新颖杂乱场景中的分类对象。

关键思路：本文提出了一种名为Bi-KVIL的方法，它可以同时提取对象和手之间的混合主从关系（HMSR）、双手协调策略和子符号任务表示。该任务表示是以对象为中心、独立于具体实现和视角的，因此可以很好地推广到新颖场景中的分类对象。

其他亮点：本文的方法可以从少量的人类演示视频中学习到细粒度的双手操作任务。实验中使用了各种真实世界应用，展示了该方法的能力。研究人员还提供了视频和源代码。

相关研究：最近的相关研究包括单手操作任务的视觉模仿学习和基于关键点的视觉模仿学习。