【自监督学习】Understanding self-supervised Learning Dynamics without Contrastive Pairs 【论文链接】https://arxiv.org/pdf/2102.06810.pdf 【作者团队】Yuandong Tian，Xinlei Chen，Surya Ganguli 【机构】Facebook，斯坦福大学 【代码链接】https://github.com/facebookresearch/luckmatters/tree/master/ssl 【发表时间】2021/2/16 【推荐理由】 本文深入研究了没有对比样本对情况下，自监督学习仍取得强大表示能力背后的原因，来自Facebook和斯坦福大学。 自监督学习（SSL）中的对比学习方法通过最小化同一数据点（正样本对）的两个增强视图之间的距离以及最大化来自不同数据点（负样本对）的相同视图来学习表示。但是，最近的方法（例如BYOL和SimSiam）在没有负样本对的情况下显示了出色的性能，这提出了一个基本的理论问题：仅具有正样本对的SSL如何避免表示性崩溃？作者研究了简单线性网络中非对比学习SSL的非线性学习动力。作者的分析从概念上洞悉了非对比学习SSL方法的学习方式，如何避免代表性的崩溃以及诸如预测器网络，停止梯度，指数移动平均值和权重衰减之类的多种因素如何发挥作用。作者的简单理论概括了STL-10和ImageNet中真实消融研究的结果。此外，根据该理论，作者提出了一种新颖的方法，该方法可基于输入的统计信息直接设置预测器。在线性预测器的情况下，该方法比预测器的梯度训练性能提高了5％，在ImageNet上，它与采用BatchNorm的更复杂的两层非线性预测器的性能相当。

内容中包含的图片若涉及版权问题，请及时与我们联系删除