自监督对比学习的泛化性理论

转自知乎用户：Weiran Huang

自监督学习 Self-Supervised Learning 是目前人工智能领域大热的一个方向，图灵奖得主 Yann Lecun 和 Yoshua Bengio 都认为自监督学习是机器智能达到人类水平的关键。这种学习范式已经在各种 CV 和 NLP 等任务上超越了直接用监督学习的性能。尽管近来自监督学习的算法层出不穷，但是对它泛化性好的理论理解仍然十分缺乏，只能盲目尝试，因此限制了自监督学习进一步的发展。我们最近的工作尝试对自监督对比学习的泛化性进行一些理论上的理解。论文如下：

我们对自监督对比学习的泛化性进行分析，提出了一个统一的理论框架来解释对比自监督学习泛化性好的原因。我们对唯一的自监督信息——数据增强，进行数学上的定量刻画，并基于此推导出自监督对比学习在下游任务的泛化误差上界。根据该误差上界，得出泛化性好的三个条件：正样本对齐 Alignment of positive samples、类中心错开 Divergence of class centers、增广数据的聚焦性 Concentration of augmented data。其中，前两个条件是可以通过对比学习算法进行优化的——因此我们证明了两个常见算法 SimCLR 和 Barlow Twins 都在隐式地满足前两个条件；而第三个条件只依赖输入的训练数据——因此我们在真实数据集上测试，发现用我们理论预测出不同训练数据的泛化性变化趋势能跟真实性能变化趋势一致。

阅读详情

内容中包含的图片若涉及版权问题，请及时与我们联系删除