自监督学习未来是掩码自编码器？KAIST最新《自监督学习掩码自编码器》研究进展

论文链接：https://arxiv.org/pdf/2208.00173.pdf

掩码自编码器是可扩展的视觉学习器，正如MAE[1]，这表明视觉中的自监督学习(SSL)可能会经历与NLP类似的发展轨迹。具体来说，带有掩码预测的生成前置任务(例如BERT)已经成为NLP中事实上的标准SSL实践。相比之下，视觉生成方法的早期尝试已经被它们的判别性同行所掩盖(如对比学习); 然而，掩模图像建模的成功复兴了掩模自编码器(过去常被称为去噪自编码器)。作为弥合与BERT在NLP中的差距的里程碑，掩码自动编码器在视觉和视觉上引起了SSL前所未有的关注。这项工作对掩码自编码器进行了全面的综述，以洞察SSL的一个有前途的方向。作为第一个回顾带掩码自编码器的SSL的作者，本文通过讨论其历史发展、最近的进展以及对各种应用的影响，重点讨论了它在视觉上的应用。