本文首发于微信公众号「李rumor」

对比学习的概念很早就有了，但真正成为热门方向是在2020年的2月份，Hinton组的Ting Chen提出了SimCLR，用该框架训练出的表示以7%的提升刷爆了之前的SOTA，甚至接近有监督模型的效果。在SimCLR推出后，各路大佬们又陆续提出了不少有意义的工作，本文将对2020年的一些对比学习经典研究进行总结，方便大家快速掌握这个方向的原理和发展脉络，主要包括以下几篇论文：

  • MoCo（CVPR'20）
  • SimCLR（ICML'20）
  • MoCo v2
  • SimCLR v2（NIPS'20）
  • SwAV（NIPS'20）
  • BYOL
  • SimSiam

感兴趣的可以戳链接。

内容中包含的图片若涉及版权问题，请及时与我们联系删除