On the Similarities of Embeddings in Contrastive Learning

对比学习（CL）基于一个简单而有效的原则：正样本对的嵌入会被拉近，而负样本对的嵌入会被推开。尽管已经提出了多种形式的对比损失，并从不同角度对其进行了分析，但以往的工作缺乏一个能够系统解释这些目标函数广泛类别的综合框架。在本文中，我们提出了一种理解对比学习的统一框架，该框架基于分析正样本对和负样本对嵌入之间的余弦相似度。在全批量设置下，我们证明了当负样本对的相似度低于某个阈值时，正样本对的完全对齐是无法实现的，而通过引入视图内负样本对可以缓解这种不对齐现象。在小批量设置下，我们展示了较小的批量大小会导致批次内负样本对之间更强的分离，从而增加负样本对相似度的方差。为了解决小批量对比学习的这一局限性，我们引入了一个辅助损失项，以减少对比学习中负样本对相似度的方差。实验结果表明，在小批量训练中，加入所提出的损失项可以一致地提升对比学习方法的性能。

论文试图解决对比学习（Contrastive Learning, CL）在小批量训练中由于负样本相似度方差较高而导致性能下降的问题。这是一个已有问题，但该研究专注于从正负样本相似度的角度提供更系统的分析框架。

论文提出了一种基于正负样本对余弦相似度的统一框架来理解对比学习，并进一步揭示了全批量和小批量训练场景下的差异。其核心创新在于引入了一个辅助损失项，用于降低小批量训练中负样本对相似度的方差，从而提升CL方法的稳定性与性能。

1. 提出了一个统一的理论框架，解释了多种对比学习目标函数的行为；2. 分析了全批量和小批量训练下正负样本对的特性，发现小批量训练会导致负样本分离更强、方差更高；3. 引入辅助损失项以缓解小批量训练中的高方差问题；4. 实验结果表明，该方法在小批量训练中显著提升了对比学习模型的表现；5. 论文未提及是否开源代码，但提供了丰富的实验数据，包括在常用数据集（如CIFAR-10、ImageNet等）上的验证结果。

近年来，关于对比学习的研究主要包括：1. SimCLR系列工作，通过设计强大的数据增广策略改进对比学习；2. MoCo系列，通过动量更新机制和队列存储机制解决了小批量训练的样本不足问题；3. Barlow Twins，通过最小化特征冗余来避免对比学习中的信息丢失；4. BYOL，提出了一种非对称网络架构，无需负样本即可实现高效学习。此外，还有研究从优化角度分析对比学习的目标函数，例如《Understanding Contrastive Learning via Information Bottleneck》。