On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning

监督对比表示学习已被证明在各种迁移学习场景中非常有效。然而，虽然在自监督表示学习中，非对称非对比学习（ANCL）通常比其对比学习对应物表现更好，但将ANCL扩展到监督场景的研究较少。为了弥补这一差距，我们研究了ANCL用于监督表示学习，被称为SupSiam和SupBYOL，利用ANCL中的标签来实现更好的表示。所提出的监督ANCL框架提高了表示学习，同时避免了崩溃。我们的分析表明，为ANCL提供监督可以减少类内方差，并且应调整监督的贡献以实现最佳性能。实验证明了监督ANCL在各种数据集和任务中的优越性。代码可在以下链接中找到：https://github.com/JH-Oh-23/Sup-ANCL。

本文旨在研究非对称非对比学习（ANCL）在监督场景下的应用，探索利用标签来提高表示学习的效果。同时，该论文还试图避免ANCL中出现的折叠问题。

本文提出了一种监督ANCL框架，称为SupSiam和SupBYOL，通过在ANCL中引入标签提高表示学习的效果。该框架减少了类内差异，并且可以通过调整监督贡献来获得最佳性能。

本文的实验表明，Supervised ANCL在各种数据集和任务上都优于其他方法。该论文的代码已经开源，可以在https://github.com/JH-Oh-23/Sup-ANCL上找到。此外，本文还分析了提供监督的影响，以及如何调整监督贡献来获得最佳性能。

最近的相关研究包括：Contrastive Learning for Unsupervised Representation Learning和Asymmetric Non-Contrastive Learning for Unsupervised Visual Recognition等。