从 SimCLR 到 BarLow Twins ，梳理自监督学习发展史

原文首发于知乎，作者：王珣

从Kaiming的MoCo和Hinton组Chen Ting的SimCLR开始，自监督学习（SSL）成了计算机视觉的热潮显学。凡是大佬大组（Kaiming, VGG，MMLAB等），近两年都是搞了几个自监督方法的。从一开始的新奇兴奋地看着Arxiv上新发布的SSL方法（像MoCo, SwAV, BYOL, SimSiam等这些方法着实有趣），但是有一些相关的文章多少有些泛滥了，让人很难觉得有趣。 最近FAIR的一个新工作，着实让我惊叹，觉得很有意思，颇为叹服。关键的是这个方法特别简单，应当可以称之为最简单的SSL。

• 论文名称：Barlow Twins: Self-Supervised Learning via Redundancy Reduction
• 论文链接：https://arxiv.org/abs/2103.03230

藉此机会，作者同时梳理了SSL在这不到两年的时间里比较重要的认知变化的节点：从SimCLR为起点，以这篇BarLow Twins为暂时的终点。从这个历史线上去看SSL的发展非常有趣，整个圈子对于SSL的认知在不断打脸的过程中不断深入。

感兴趣的可以继续戳原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除