DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation

从人类手部运动数据中学习模仿技能为机器人赋予人类般的灵巧性在现实世界的操作任务中具有很大的潜力。尽管如此，仍然存在重大挑战，特别是现有手部运动捕捉系统的可移植性以及将运动捕捉数据转化为有效控制策略的困难。为了解决这些问题，我们引入了DexCap，一个便携式手部运动捕捉系统，以及DexIL，一种新的模仿算法，用于直接从人类手部运动捕捉数据中训练灵巧的机器人技能。DexCap基于SLAM和电磁场以及环境的3D观察，提供了对手腕和手指运动的精确、抗遮挡的跟踪。利用这个丰富的数据集，DexIL采用逆运动学和基于点云的模仿学习来复制机器人手部的人类动作。除了从人类运动中学习外，DexCap还提供了一个可选的人机交互校正机制，以改善和进一步提高机器人的性能。通过对六个灵巧操作任务的广泛评估，我们的方法不仅展示了卓越的性能，而且展示了该系统有效地从野外运动捕捉数据中学习的能力，为未来的灵巧操作数据收集方法铺平了道路。更多细节请访问https://dex-cap.github.io。

如何通过人类手部动作数据来训练机器人进行灵巧的实物操作？

使用DexCap手部运动捕捉系统和DexIL模仿算法，直接从人类手部动作数据中训练机器人技能。

DexCap是一种便携式手部运动捕捉系统，基于SLAM和电磁场以及环境的3D观察，可以精确、抗遮挡地跟踪手腕和手指运动。DexIL利用逆运动学和基于点云的模仿学习来复制人类动作。该方法不仅在六个灵巧操作任务中展示了卓越的性能，而且还展示了从实际捕捉数据中有效学习的能力，为未来的数据收集方法铺平了道路。

最近的相关研究包括使用深度学习方法进行手部姿态估计和手部追踪，以及使用增强学习方法进行机器人操作的训练。相关论文包括“Real-time Hand Tracking under Occlusion from an Egocentric RGB-D Sensor”和“Learning Dexterous In-Hand Manipulation”。