GenView: Enhancing View Quality with Pretrained Generative Model for Self-Supervised Learning

自监督学习已经在从未标注的数据中获得高质量的表示方面取得了显著的成功。广泛采用的对比学习框架旨在通过最小化源自同一图像的正样本视图之间的距离来学习不变表示。然而，现有的构建正样本视图的技术高度依赖于手动变换，导致多样性有限并且可能存在错误的正样本对。为了解决这些挑战，我们提出了GenView，这是一个可控的框架，利用预训练的生成模型增加正样本视图的多样性，同时保留语义。我们开发了一种自适应视图生成方法，动态调整采样中的噪声水平，以确保保留必要的语义意义同时引入变异性。此外，我们引入了一种质量驱动的对比损失，通过考虑前景相似性和背景多样性来评估正样本对的质量。该损失优先考虑我们构建的高质量正样本对，同时减少低质量对的影响，从而减轻生成模型和激进数据增强引入的潜在语义不一致。由于改进了正样本视图的质量和质量驱动的对比损失，GenView在各种任务中显著提高了自监督学习的性能。例如，GenView在ImageNet线性/半监督分类上将MoCov2的性能提高了2.5%/2.2%。此外，GenView甚至比简单地用Laion400M或ImageNet21K增强ImageNet数据集表现更好。代码可在https://github.com/xiaojieli0903/genview获得。

论文旨在解决自监督学习中正样本视图构建的多样性不足和误差问题，提出了一种基于预训练生成模型的可控正样本视图增强框架。

论文提出了一种自适应视图生成方法，动态调整噪声水平以平衡样本多样性和语义一致性，并引入了质量驱动的对比损失，考虑前景相似性和背景多样性，以优先处理高质量的正样本对。

论文的实验结果表明，GenView显著提高了自监督学习的性能，并在ImageNet线性/半监督分类任务上将MoCov2的性能提高了2.5％/2.2％。此外，GenView甚至比直接使用Laion400M或ImageNet21K增强ImageNet数据集效果更好。论文提供了开源代码。

在这个领域中，最近的相关研究包括BYOL、SimCLRv2等。