A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification

自监督学习（SSL）是一种机器学习方法，其中数据本身提供监督，消除了对外部标签的需求。模型必须通过解决预设任务来学习数据结构或上下文。使用SSL，模型可以从丰富且廉价的未标记数据中学习，从而大大降低了需要昂贵或无法访问标签的模型训练成本。在计算机视觉中，SSL通常作为预训练，然后进行下游任务，例如有监督的转移、小型标记数据集上的少样本学习和/或无监督聚类。不幸的是，无法在所有可能的下游任务上评估SSL方法并客观地衡量所学表示的质量。相反，使用域内评估协议（如微调、线性探测和k最近邻（kNN））来评估SSL方法。然而，我们不太了解这些评估协议在不同条件下（如数据集、度量和模型架构）估计预训练模型的表示质量以适用于不同的下游任务。我们研究了基于分类的SSL评估协议之间的相关性以及它们如何预测不同数据集类型的下游性能。我们的研究包括11个常见的图像数据集和26个使用不同SSL方法进行预训练或具有不同模型骨干的模型。我们发现，在域内的线性/ kNN探测协议平均而言是最好的预测域外性能的方法。我们进一步研究了批归一化的重要性，并评估了不同数据集域漂移的相关性的稳健性。我们挑战了关于区分性和生成性自监督方法之间关系的假设，发现它们的大多数性能差异可以通过改变模型骨干来解释。

研究如何评估自监督学习方法在不同数据集和模型结构下的表示质量，以及如何预测其在下游任务中的表现。

使用分类评估协议（如线性探测、k最近邻）来评估自监督学习方法的表示质量，并研究它们如何预测不同数据集类型的下游性能。

实验使用11个常见的图像数据集和26个经过不同自监督学习方法预训练或具有不同模型骨干的模型进行，发现在域内的线性/k最近邻探测协议是预测域外性能的最佳选择。研究还探讨了批量归一化的重要性，并评估了不同数据集域漂移的相关性的鲁棒性。研究挑战了有关判别式和生成式自监督方法之间关系的假设，发现它们的性能差异大多可以通过改变模型骨干来解释。

相关研究包括自监督学习方法的改进和应用，以及表示学习和迁移学习的其他方面。例如，SimCLR、MoCo、BYOL等自监督学习方法的改进工作，以及使用自监督学习表示进行目标检测、分割、姿态估计等下游任务的应用工作。