SiT: Symmetry-Invariant Transformers for Generalisation in Reinforcement Learning

在强化学习中一个开放的挑战是如何有效地将训练好的策略应用到新的或稍微不同的情境以及语义上相似的环境中。我们引入了对称不变变换器（Symmetry-Invariant Transformer，SiT），这是一种可扩展的视觉变换器（ViT），它以自监督的方式利用局部和全局数据模式来提高泛化能力。我们方法的核心是图对称注意力机制，它改进了传统的自注意机制以保留图的对称性，从而产生不变和等变的潜在表示。我们展示了SiT在MiniGrid和Procgen RL基准测试中优于ViTs的泛化能力，以及在Atari 100k和CIFAR10上的样本效率。

本文旨在解决强化学习中训练出的策略在新的或略有不同的情境下的有效部署，以及在语义相似的环境中的问题。这是否是一个新问题？

本文提出了Symmetry-Invariant Transformer（SiT），这是一个可扩展的视觉变换器（ViT），以自监督的方式利用局部和全局数据模式来提高泛化能力。SiT的关键在于图对称注意力机制，它改进了传统的自注意机制，以保持图形对称性，从而产生不变和等变的潜在表示。相比当前这个领域的研究状况，这篇论文的思路有什么新意？

本文展示了SiT在MiniGrid和Procgen RL基准测试中比ViTs具有更好的泛化能力，并且在Atari 100k和CIFAR10上具有更高的样本效率。实验设计了哪些值得关注的地方？使用了哪些数据集？本文的代码是否开源？哪些工作值得继续深入研究？

最近在这个领域中，还有其他相关的研究，如：《Attention is All You Need》、《Vision Transformer: A New Vision for Image Processing》等。