IntervenGen: Interventional Data Generation for Robust and Data-Efficient Robot Imitation Learning

模仿学习是训练机器人控制策略的一种有前途的范式，但这些策略可能会遭受分布偏移的影响，即评估时的条件与训练数据中的条件不同。增加策略对分布偏移的鲁棒性的一种流行方法是交互式模仿学习（即DAgger和变体），在此过程中，人类操作员在策略实施过程中提供纠正性干预。然而，收集足够数量的干预来覆盖策略错误的分布可能会对人类操作员造成负担。我们提出了IntervenGen（I-Gen），这是一种新颖的数据生成系统，可以自主地从少量人类干预中产生大量纠正性干预，覆盖状态空间。我们将I-Gen应用于4个模拟环境和1个具有物体姿态估计误差的物理环境，并表明它可以在仅有10次人类干预的情况下将策略的鲁棒性提高多达39倍。视频和更多结果可在https://sites.google.com/view/intervengen2024上获得。

如何提高交互式模仿学习中机器人控制策略的稳健性？

提出了一种自主生成纠正干预数据的方法IntervenGen，可以从少量人类干预中产生大量干预数据，从而提高机器人控制策略的稳健性。

使用IntervenGen可以将机器人控制策略的稳健性提高39倍，而只需要10个人类干预。在4个模拟环境和1个物理环境中进行了实验验证。

与本文相关的研究包括DAgger等交互式模仿学习方法，以及一些自主生成干预数据的方法，如GAN和VAE。