Self-supervised visual learning in the low-data regime: a comparative evaluation

自监督学习（Self-Supervised Learning, SSL）是当代深度神经网络（DNN）的一种有价值且稳健的训练方法，它允许在不需要地面真实标签/注释的“伪任务”上进行无监督预训练。这使得从大量未标记的训练数据中进行高效的表示学习成为可能，进而通过利用监督迁移学习在“下游任务”中提高准确性。尽管SSL的概念化和适用性相对简单，但在现实应用场景中收集和/或利用非常大的预训练数据集并不总是可行的。特别是，在专业和特定领域的应用场景中，可能无法或不实际地组装具有相关性的图像预训练数据集，或者在这种规模上进行预训练可能是计算上不可行的。这促使我们研究常见的SSL伪任务的有效性，当预训练数据集相对有限/受限时。在这个背景下，本文介绍了现代视觉SSL方法的分类法，并提供了关于主要方法类别的详细解释和见解，随后，在低数据范围内进行了彻底的比较实验评估，旨在确定：a）通过低数据SSL预训练学到了什么，b）不同的SSL类别在这种训练情况下表现如何。有趣的是，对于特定领域的下游任务，域内低数据SSL预训练优于在通用数据集上进行大规模预训练的常见方法。根据所得结果，突出了每种SSL方法类别的性能方面的有价值的见解，这反过来又为该领域未来的研究方向提供了直接的启示。

本论文旨在研究在数据相对有限的情况下，常见的自监督学习（SSL）预训练任务的有效性和表现，并探索在特定领域下的低数据自监督预训练对下游任务的影响。

本论文提出了现代视觉SSL方法的分类，并在低数据情况下进行了实验评估，发现在特定领域下的低数据自监督预训练表现优于在通用数据集上进行大规模预训练的常见方法。论文为SSL方法的性能提供了有价值的见解，并为未来的研究方向提供了指导。

论文介绍了现代视觉SSL方法的分类和详细解释，提出了在低数据情况下进行实验评估的方法，并发现在特定领域下的低数据自监督预训练表现优于在通用数据集上进行大规模预训练的常见方法。实验使用了多个数据集，并提供了开源代码。论文为SSL方法的性能提供了有价值的见解，并为未来的研究方向提供了指导。

在这个领域中，最近还有一些相关的研究，例如《Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles》、《Learning Visual Features from Large Weakly Supervised Data》等。