Mixing Natural and Synthetic Images for Robust Self-Supervised Representations

本文介绍了DiffMix，这是一种新的自监督学习（SSL）预训练框架，它结合了真实和合成图像。与主要使用真实图像的传统SSL方法不同，DiffMix使用稳定扩散的变体来替换真实图像的增强实例，促进了跨真实-合成图像表示的学习。关键的洞察力在于，虽然仅使用合成图像训练的SSL方法表现不如仅使用真实图像训练的方法，但使用真实和合成图像混合训练方法可以产生更强大和适应性更强的表示。实验表明，DiffMix增强了SSL方法SimCLR、BarlowTwins和DINO在各种鲁棒性数据集和域转移任务中的表现。DiffMix将SimCLR在ImageNet-1K上的准确性提高了4.56％。这些结果挑战了高质量真实图像对于SSL预训练的必要性的观念，表明低质量的合成图像也可以产生强大的表示。DiffMix还减少了SSL中图像增强的需求，提供了新的优化策略。

本论文的问题是探索一种新的自监督学习（SSL）预训练框架，旨在解决使用合成图像进行SSL训练的性能低下的问题。

论文提出了DiffMix，一种新的SSL预训练框架，它结合了真实图像和合成图像。DiffMix使用稳定扩散的变体来替换真实图像的增强实例，从而促进跨真实-合成图像表示的学习。这种混合训练方法可以产生更强大、更适应各种数据集和领域转移任务的表示。

论文的实验表明，DiffMix可以增强SimCLR、BarlowTwins和DINO等SSL方法的性能，同时减少了SSL中图像增强的需求，提供了新的优化策略。DiffMix可以提高SimCLR在ImageNet-1K上的准确率达到4.56％。此外，论文还开源了代码。

近期的相关研究包括使用合成数据进行SSL的方法，以及探索如何使用真实和合成数据的混合方法进行SSL训练的方法。例如，SimCLR、BarlowTwins和DINO等方法都是使用真实数据进行SSL训练的方法。