DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning

从人类演示中进行模仿学习是教授机器人操作技能的有效手段。然而，数据获取是将这一范式更广泛应用于机器人的一大瓶颈，因为这涉及到大量的成本和人力投入。对于仿人双臂灵巧机器人来说，模仿学习引起了极大的兴趣。不幸的是，由于同时控制多条手臂和多指手的挑战，数据收集在这里变得更加困难。模拟中的自动化数据生成是一种有吸引力且可扩展的替代方案，可以满足对数据的需求。为此，我们引入了DexMimicGen，这是一个大规模的自动化数据生成系统，可以从少量的人类演示中为具有灵巧手的仿人机器人合成轨迹。我们展示了一系列双臂灵巧操作的仿真环境，涵盖了多种操作行为和不同手臂之间的协调需求。我们从仅有的60个源人类演示中生成了21000个演示，并研究了多个数据生成和策略学习决策对代理性能的影响。最后，我们介绍了一种从现实到仿真再到现实的管道，并将其部署在一个实际的仿人机器人罐子分类任务上。视频和其他内容请访问：https://dexmimicgen.github.io/

该论文试图解决通过人类演示学习机器人操作技能时面临的数据获取瓶颈问题，特别是在双臂灵巧机器人（如类人机器人）上的应用。由于同时控制多个机械臂和多指手的复杂性，这类机器人的数据收集更加困难。

论文提出了一种名为DexMimicGen的大规模自动化数据生成系统，可以从少量的人类演示中合成轨迹，用于具有灵巧手的类人机器人的模仿学习。这一方法通过在模拟环境中自动生成大量数据，为解决数据获取难题提供了一个可扩展的替代方案。

论文设计了一系列模拟环境，涵盖了多种双臂灵巧操作任务，包括不同层次的双臂协调需求。研究团队从仅有的60个源人类演示中生成了21,000个演示，并系统地分析了不同数据生成和策略学习决策对代理性能的影响。此外，论文还介绍了一个从现实到模拟再到现实的管道，并在一个实际的类人机器人罐子分类任务中进行了部署。项目视频和更多信息可在https://dexmimicgen.github.io/ 查看。

近期在这一领域内的其他相关研究包括：1)《Learning Dexterous In-Hand Manipulation》探讨了通过深度强化学习实现灵巧的手部操作；2)《One-Shot Imitation Learning》提出了单次模仿学习方法，使机器人能够从一次演示中学习新任务；3)《Sim-to-Real Transfer of Robotic Skills with Latent Space Adaptation》研究了如何通过潜在空间适应技术实现从模拟到现实的技能迁移。