You Don't Need Data-Augmentation in Self-Supervised Learning

自监督学习(Self-Supervised learning，SSL)结合联合嵌入架构(Joint-Embedding Architectures，JEA)已经取得了出色的表现。这种范式的所有实例都是使用强大而成熟的手工数据增强训练的，因此人们普遍认为这些数据增强对于这些模型的适当训练和性能是必需的。另一方面，基于生成重建的模型，如BEIT和MAE，或基于联合嵌入预测的架构，如I-JEPA，已经显示出强大的性能，而且除了遮蔽(masking)外，没有使用数据增强。在这项工作中，我们挑战了在大规模的JEAs中不变性和数据增强的重要性。通过对最近的SSL基础模型DINOv2进行案例研究，我们表明，只要训练数据足够大，使用JEAs和仅裁剪而不是调整大小，可以获得强大的图像表示，达到文献中最少的数据增强和最先进的结果。通过这项研究，我们还讨论了计算约束对实验深度学习研究结果的影响，表明它们可能导致非常不同的结论。

本论文试图探讨在自监督学习中，数据增强和不变性的重要性。作者们尝试使用最少的数据增强来训练JEAs，并且通过实验验证其有效性。

本文通过对最近的自监督学习基础模型DINOv2的研究，展示了只使用裁剪而不是缩放的数据增强可以获得强大的图像表示。同时，作者们讨论了计算约束对实验结果的影响。

本文的实验表明，只使用裁剪而不是缩放的数据增强可以获得强大的图像表示，达到了最先进的结果，并且使用的数据增强是文献中最少的。此外，作者们还探讨了计算约束对实验结果的影响。本文的实验使用了DINOv2模型，并且在多个数据集上进行了测试。作者们还提供了代码和模型。

最近的相关研究包括BEIT和MAE等生成重建模型，以及I-JEPA等联合嵌入预测模型。