MotionTrans: Human VR Data Enable Motion-Level Learning for Robotic Manipulation Policies

扩展真实机器人数据是模仿学习中的一个关键瓶颈，因此研究中常使用辅助数据来训练策略。尽管机器人操作的其他方面（如图像或语言理解）可以从基于互联网的数据集中学习，但运动知识的获取仍然面临挑战。人类数据蕴含丰富的操作行为多样性，为此提供了一种宝贵的资源。虽然已有研究表明，利用人类数据能够带来诸多益处，例如提升鲁棒性和训练效率，但尚不清楚它是否能发挥其最大潜力：使机器人策略直接学会完成新任务所需的全新动作。本文通过多任务人机协同训练系统性地探索了这一潜力。我们提出了MotionTrans框架，该框架包含一个数据采集系统、一个人类数据转换流程以及一种加权协同训练策略。通过对30个人机协同任务进行同时协同训练，我们成功将来自人类数据的13个任务的动作直接迁移并转化为可部署的端到端机器人策略。值得注意的是，其中有9个任务在零样本情况下即达到了非平凡的成功率。MotionTrans还显著提升了预训练-微调的性能（成功率提高40%）。通过消融实验，我们进一步识别出实现成功动作学习的关键因素：与机器人数据协同训练，以及广泛覆盖与任务相关的动作范围。这些发现揭示了从人类数据中进行动作层级学习的潜力，为有效利用此类数据训练机器人操作策略提供了重要启示。所有数据、代码和模型权重均已开源 https://motiontrans.github.io/。

论文试图解决机器人模仿学习中真实机器人数据难以规模化的问题，探索是否可以通过人类行为数据直接让机器人学会新的操作动作。这个问题在当前机器人学习领域具有挑战性，尽管已有利用人类数据的研究，但其在零样本迁移和新动作学习方面的潜力尚未被充分验证，因此具有一定的新颖性。

提出MotionTrans框架，通过多任务人机协同训练（cotraining），将人类动作数据转换并融合到机器人策略训练中。关键创新在于：1）构建人类数据转换流水线；2）采用加权协同训练策略，使机器人能从人类动作中直接学习新运动；3）实现跨模态、跨实体的动作迁移。相比以往仅用人类数据作为辅助信号的工作，该方法首次系统性地实现了从人类数据到机器人策略的零样本动作迁移。

- 构建了涵盖30个任务的人机协同训练数据集，成功将13个任务的人类动作迁移到机器人策略中； - 9个任务在零样本部署下达到非平凡的成功率； - 预训练-微调性能提升40%； - 消融实验表明：与机器人数据协同训练和广泛的运动覆盖是成功的关键； - 数据、代码、模型权重全部开源（https://motiontrans.github.io/）； - 实验设计严谨，涵盖多任务、跨域迁移与消融分析，为后续研究提供了可复现基础。

- "Broadening the Scope of Human-to-Robot Imitation via Shared Representations" (CoRL 2022) - "Human-in-the-Loop Robot Learning from Demonstrations with Natural Language" (ICRA 2023) - "Cross-Embodiment Transfer Learning via Action Correspondence Discovery" (NeurIPS 2021) - "Learning Generalizable Robotic Manipulation from Internet-scale Human Activity Videos" (RSS 2023) - "ActionChunker: Learning to Map Human Actions to Robot Skills" (ICML 2023 Workshop)