RT-Sketch: Goal-Conditioned Imitation Learning from Hand-Drawn Sketches

在目标条件下的模仿学习中，自然语言和图像通常被用作目标表示。然而，自然语言可能存在歧义，图像可能存在过度特定性。在本文中，我们提出手绘草图作为视觉模仿学习中目标说明的一种方式。草图易于用户即时提供，类似于语言，但与图像类似，它们还可以帮助下游策略具有空间感知能力，甚至可以超越图像以区分任务相关和任务不相关的对象。我们提出了RT-Sketch，这是一种用于操作的目标条件策略，它以所需场景的手绘草图作为输入，并输出动作。我们在一组成对轨迹和相应的合成目标草图的数据集上训练RT-Sketch。我们在一个由关节式台面上的桌面物体重新排列组成的六个操作技能上评估了这种方法。实验结果表明，在简单的环境中，RT-Sketch能够像图像或语言条件的智能体一样表现出色，并在语言目标不明确或存在视觉干扰时实现更大的稳健性。此外，我们展示了RT-Sketch具有解释和执行具有不同特定性水平的草图的能力，从最小的线条绘画到详细的彩色绘画。有关补充材料和视频，请参阅我们的网站：http://rt-sketch.github.io。

本论文旨在探索手绘草图在视觉模仿学习中作为目标表示的有效性。相比于自然语言和图像，手绘草图是否能够提供更加准确的目标表示？

本论文提出了RT-Sketch，一种基于手绘草图的目标条件策略，用于物体操作任务。通过将手绘草图作为目标表示，RT-Sketch能够在任务中实现空间感知和任务相关性物体的区分。

论文使用了合成的手绘草图作为训练数据，并在六个物体操作任务中进行了实验。实验结果表明，相比于基于自然语言和图像的策略，RT-Sketch在任务目标模糊或存在视觉干扰时表现更加稳健。此外，RT-Sketch能够处理不同精度的手绘草图。论文提供了相关材料和视频，并公开了代码。

近期的相关研究包括基于自然语言和图像的目标条件策略，如Learning to Poke by Poking: Experiential Learning of Intuitive Physics和Visual Reinforcement Learning with Imagined Goals等。