我们提出掩码Transformer自监督学习方法，如下图所示。MST创造性的引入了注意力特征图引导掩码策略并利用掩码特征来恢复全局图像特征任务。我们将介绍如何利用注意力特征引导掩码策略帮助掩码语言模型应用到视觉领域。最后我们将介绍网络的结构和实验细节。

论文链接：https://arxiv.org/abs/2106.05656

内容中包含的图片若涉及版权问题，请及时与我们联系删除