Robot Learning with Sensorimotor Pre-training

Ilija Radosavovic, Baifeng Shi, Letian Fu, Ken Goldberg, Trevor Darrell, Jitendra Malik
[UC Berkeley]

Ken Goldberg，工业工程和运营研究教授，威廉·S小弗洛伊德加州大学伯克利分校工程杰出主席，Ambi机器人首席科学家

Jitendra Malik，加州大学伯克利分校电气工程和计算机科学系的Chick教授，Jitendra Malik是IEEE、ACM和美国艺术与科学院的会员，也是美国国家科学院和美国国家工程院的成员。

基于感知运动预训练的机器人学习

  • 动机：提出一种自监督的感知运动预训练方法，用于机器人学习。如果机器人能预测缺失的感知运动内容，那么它就获得了一个关于物理世界的良好模型，可以使其行动起来。这种预训练方法是通过一种掩码重建任务来实现的，类似于语言和计算机视觉中的BERT和MAE。
  • 方法：所提出的模型RPT，是一个操作感知运动Token序列的Transformer。给定一系列相机图像、本体感知的机器人状态和过去的动作，将交错的序列编码成Token，随机掩码一部分，然后训练模型预测被掩码的内容。
  • 优势：RPT设计用于在潜在的视觉表示上进行操作，这使得预测变得可行，能够扩展到更大的模型，并在真实的机器人上进行10 Hz的推理。通过在使用运动规划和基于模型的抓取算法收集的20000个真实世界轨迹的数据集上进行评估，我们发现预训练在这些数据上始终优于从头开始训练，可以在块堆叠任务中提高2倍的改进，并具有良好的扩展性。

提出一种自我监督的感知运动预训练方法，通过预测缺失的感知运动内容，使机器人获得了一个关于物理世界的良好模型，从而提高了机器人的学习和操作能力。

https://arxiv.org/abs/2306.10007 


图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除