ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

人类的手在交互中扮演着核心角色，这促使了对灵巧机器人操作的研究日益增加。数据驱动的具身人工智能算法需要精确、大规模且类似人类的操作序列，而通过传统的强化学习或现实世界的远程操控来获取这些序列具有很大挑战性。为了解决这一问题，我们提出了 ManipTrans，这是一种新颖的两阶段方法，能够高效地将人类的双臂技能转移到模拟环境中的灵巧机器人手上。ManipTrans 首先预训练一个通用的轨迹模仿器以复制手部运动，然后在交互约束下微调一个特定的残差模块，从而实现复杂双臂任务的高效学习和准确执行。实验表明，ManipTrans 在成功率、保真度和效率方面均超越了现有最先进方法。借助 ManipTrans，我们将多个手-物体数据集转移到机器人手上，构建了 DexManipNet，这是一个大规模的数据集，包含之前未被探索的任务，例如笔帽盖上和瓶子拧开等动作。DexManipNet 包含 3.3K 段机器人操作片段，并且易于扩展，有助于进一步为灵巧机器人手训练策略，并支持实际场景中的部署。

该论文试图解决如何将人类双臂操作技能高效地迁移到机器人灵巧手上，以实现复杂任务的精确执行。这是一个重要但具有挑战性的问题，尤其是在大规模数据驱动的AI算法中，传统强化学习或真实世界远程操作难以生成高质量的人类操作序列。

论文提出了名为ManipTrans的两阶段方法：首先通过预训练一个通用轨迹模仿模型来模拟人类手部运动；其次，在交互约束下微调特定的残差模块，从而实现高效学习和高精度的任务执行。这种方法创新性地结合了模仿学习与任务特定优化，显著提高了迁移效率和准确性。

1. ManipTrans在成功率、保真度和效率上超越现有方法；2. 基于该方法生成了DexManipNet，这是一个包含3.3K个机器人操作片段的大规模数据集，涵盖新任务如笔帽盖回和瓶子拧开；3. 数据集易于扩展，并可支持进一步策略训练及实际部署；4. 论文提供了详细的实验设计，验证了方法的有效性，且数据集可能已开源（需确认）；5. 此研究为未来探索更复杂的双臂任务提供了基础。

近期相关研究包括：1. OpenAI的Dactyl项目，利用强化学习完成魔方操作；2. DeepMind发布的Manipulation with Hindsight Experience Replay (HER)，专注于单手物体操作；3. Berkeley的CALVIN框架，用于大型多模态机器人操作数据集的生成；4. CMU关于双臂协作的研究《Learning Dexterous Bimanual Manipulation through Human Demonstrations》。这些工作共同推动了灵巧机器人操作技术的发展。