ViSaRL: Visual Reinforcement Learning Guided by Human Saliency

通过强化学习（RL）训练机器人从高维像素输入执行复杂控制任务是样本效率低下的，因为图像观察主要由与任务无关的信息组成。相比之下，人类能够视觉关注任务相关的对象和区域。基于这一见解，我们介绍了Visual Saliency-Guided Reinforcement Learning（ViSaRL）。使用ViSaRL学习视觉表示显著提高了RL代理在各种任务中的成功率、样本效率和泛化能力，包括DeepMind控制基准、仿真中的机器人操纵和真实机器人。我们提出了将显著性融入CNN和Transformer编码器的方法。我们展示了使用ViSaRL学习的视觉表示对各种视觉扰动包括感知噪声和场景变化具有鲁棒性。与不使用显著性的基线相比，ViSaRL在真实机器人任务中的成功率几乎提高了一倍。

本文试图通过引入视觉显著性来解决基于像素输入的强化学习（RL）中的样本低效问题。该问题是当前RL领域的一个新问题。

本文的关键思路是使用视觉显著性指导RL代理学习视觉表示。这种方法可以显著提高RL代理的成功率、样本效率和泛化能力。

本文使用ViSaRL算法在DeepMind控制基准测试、仿真机器人操作和真实机器人操作中实现了显著的性能提升。论文提出了将显著性引入CNN和Transformer编码器的方法，并且证明了使用ViSaRL学习的视觉表示对于各种视觉干扰具有鲁棒性。此外，作者还开源了他们的实验代码。

最近的相关研究包括使用视觉显著性指导视觉对象搜索的工作，以及使用不同类型的注意力机制来指导RL代理的工作。例如，标题为“Reinforcement Learning with Attention that Works: A Self-Supervised Approach to Continuous Action Control”的论文使用自监督学习方法来指导RL代理的注意力机制。