题目：The SSL Interplay: Augmentations, Inductive Bias, and Generalization

作者： Vivien Cabannes, Bobak T. Kiani, Randall Balestriero, Yann LeCun, Alberto Bietti

地址：https://arxiv.org/pdf/2302.02774.pdf

简介：

自我监督学习（SSL）已经成为一个强大的框架，在没有监督的情况下从原始数据中学习表征。然而，在实践中，工程师们面临着诸如调整优化器的不稳定性和训练期间表征的崩溃等问题。这样的挑战促使我们需要一种理论来阐明数据增强的选择、网络结构和训练算法之间复杂的相互作用。我们通过对预训练和下游任务的泛化性能的精确分析来研究这种相互作用，并强调了我们的理论为SSL从业者带来的一些启示。

内容中包含的图片若涉及版权问题，请及时与我们联系删除