Flow Matching Imitation Learning for Multi-Support Manipulation

2024年07月17日
  • 简介
    人形机器人可以通过利用其上半身进行支撑接触来获益,从而增强其工作空间、稳定性和执行接触丰富和推动任务的能力。本文提出了一种统一方法,将基于优化的多接触全身控制器与最近引入的Flow Matching方法相结合,后者能够生成多模态轨迹分布以进行模仿学习。在模拟中,我们展示了Flow Matching比扩散和传统的行为克隆更适合机器人。在一个真实的全尺寸人形机器人(Talos)上,我们展示了我们的方法可以学习整体非抓握式推箱子任务,并且机器人可以在需要平衡时使用自由手添加接触来关闭洗碗机抽屉。我们还介绍了一种共享自主模式,用于辅助远程操作,为未涵盖在演示中的任务提供自动接触放置。完整的实验视频可在以下网址找到:https://hucebot.github.io/flow_multisupport_website/
  • 图表
  • 解决问题
    论文旨在通过将多接触全身控制器与Flow Matching相结合,提高人形机器人的稳定性和执行接触丰富和推动任务的能力。
  • 关键思路
    论文提出了一种全新的方法,将优化为基础的多接触全身控制器与Flow Matching相结合,以生成多模态轨迹分布进行模仿学习。
  • 其它亮点
    论文在仿真和实际机器人上进行了实验,展示了Flow Matching比Diffusion和传统的行为克隆更适合机器人的特点。实验中,机器人可以在需要平衡时使用自由手添加接触来完成非抓取推箱子任务。此外,论文还介绍了一种共享自主模式,为辅助远程操作提供自动接触放置。
  • 相关研究
    最近的相关研究包括《Multi-Contact Whole-Body Control through Learned Distributions of Contact Implicit Motions》、《Learning Multi-Contact Whole-Body Control with Implicit Contact Dynamics》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论