论文链接：https://arxiv.org/abs/2203.14898

代码链接：https://github.com/LayneH/LEWEL

自监督学习，特别是对比学习的核心思想之一是让预训练模型学会对由数据增强生成的不同视图具有不变性。而这一思想反过来为主流的自监督学习方法引入无关的噪声以及空间上的不对齐，限制了其迁移到下游任务的表现。针对目前存在的问题，商汤科技联合东京大学和悉尼大学，提出了一种动态地进行空间对齐的自监督学习方法，Learning Where to Learn (LEWEL)，大幅提升了算法迁移到在图像级预测任务和密集预测任务上的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除