Counterfactual contrastive learning: robust representations via causal image synthesis

对比预训练已被广泛认为可以提高下游任务的表现和模型的泛化能力，尤其是在标签有限的情况下。然而，对比预训练对于增强管道的选择非常敏感。正样本应该保留语义信息，同时破坏领域特定的信息。标准的增强管道使用预定义的光度变换来模拟领域特定的变化，但是如果我们能够模拟真实的领域变化会怎样呢？在这项工作中，我们展示了如何利用最近在反事实图像生成方面取得的进展来实现这一点。我们提出了CF-SimCLR，一种反事实对比学习方法，它利用近似的反事实推断来创建正样本。在胸部放射学和乳腺X线摄影的五个数据集上进行全面评估，证明了CF-SimCLR在提高对获取偏移的鲁棒性方面具有显著的改进，并在内部和外部分布数据上实现了更高的下游性能，特别是在训练期间下表示的领域。

本文旨在解决对比学习中数据增强方法的敏感性问题，提出一种基于反事实图像生成的对比学习方法CF-SimCLR，并验证其对于不同领域数据的鲁棒性和泛化能力。

CF-SimCLR利用反事实图像生成技术生成正样本对，从而提高对比学习的鲁棒性和泛化能力。

本文的亮点在于提出了一种新的对比学习方法，利用了反事实图像生成技术，实现了对数据增强方法的改进；在多个数据集上进行了全面的评估，证明了CF-SimCLR具有较高的鲁棒性和泛化能力；此外，本文还开源了实验代码，方便后续研究者进行复现和改进。

在对比学习领域，最近的相关研究包括MoCo、SimCLR、BYOL等。