Green Screen Augmentation Enables Scene Generalisation in Robotic Manipulation

将基于视觉的操作策略推广到新环境仍然是一个具有有限探索性的具有挑战性的领域。目前的做法是在一个地点收集数据，使用这些数据训练模仿学习或强化学习策略，并在同一地点部署策略。然而，这种方法缺乏可扩展性，因为它需要在每个任务中在多个地点收集数据。本文提出了一种新方法，即在主要具有绿屏的位置收集数据。我们引入了绿屏增强（GreenAug），采用色度键算法将背景纹理叠加到绿屏上。通过对超过850个训练演示和8.2k个评估剧集的广泛实证研究，我们证明GreenAug在性能上超过了无增强、标准计算机视觉增强和先前的生成增强方法。虽然我们没有声称有算法的新颖性，但我们的论文倡导对数据收集实践进行根本性的转变。我们建议未来的研究中，真实世界的演示应该利用绿屏，然后应用GreenAug。我们相信，GreenAug可以解锁对视觉上不同的新位置的策略泛化，从而解决机器人学习中当前场景泛化的限制。

解决问题：论文试图解决在不同环境下推广基于视觉的机器人操作策略的问题，提出了一种新的数据收集方法。

关键思路：论文提出了一种新的数据增强方法GreenAug，使用绿幕技术在一个主要使用绿幕的环境中进行数据收集，并将背景纹理覆盖到图像上，从而增加数据的多样性，提高机器人操作策略的泛化能力。

其他亮点：实验表明GreenAug在性能上优于无增强、标准计算机视觉增强和以前的生成增强方法。虽然没有算法上的创新，但是论文提倡了一种基本的数据收集方法的转变。论文提出未来的研究应该使用绿幕进行现实世界的演示，然后应用GreenAug。

相关研究：最近的相关研究包括基于强化学习和模仿学习的机器人操作策略的研究，以及数据增强方法的研究。