When can we Approximate Wide Contrastive Models with Neural Tangent Kernels and Principal Component Analysis?

对比学习是一种从未标记的数据中学习表示的范例，已经在图像和文本数据方面取得了很高的成功率。最近的一些研究探讨了对比损失，并声称对比模型有效地学习了谱嵌入，而很少有研究显示（广泛的）对比模型与核主成分分析（PCA）之间的关系。然而，目前尚不清楚训练好的对比模型是否确实对应于核方法或PCA。在这项工作中，我们分析了具有非线性激活的两层对比模型的训练动态，并回答了这些模型何时接近PCA或核方法的问题。在监督设置中，人们知道神经网络等价于神经切向核（NTK）机器，并且无限宽的网络的NTK在训练过程中保持不变。我们提供了第一个对于对比损失的NTK收敛结果，并呈现了一个细致的图景：对于基于余弦相似性的对比损失，宽网络的NTK保持几乎不变，但对于基于点积相似性的损失则不然。我们进一步研究了具有输出层正交性约束的对比模型的训练动态，这在将对比学习与谱嵌入相关的研究中是隐含的。我们的偏差界限表明，对比模型学习的表示接近于从随机特征计算的某个矩阵的主成分。我们的实证结果表明，我们的理论结果可能适用于两层以上的网络。

论文旨在分析对比学习模型的训练动态，回答这些模型何时与核方法或PCA接近。同时，论文还试图解决对比学习模型是否真正对应于核方法或PCA的问题。

论文提出了对比损失的NTK收敛结果，并表明宽网络的NTK在基于余弦相似度的对比损失情况下保持几乎不变，但在基于点积相似度的损失情况下不保持不变。论文还研究了具有输出层正交性约束的对比模型的训练动态，并提供了偏差界限，表明对比模型学习的表示与从随机特征计算的矩阵的主要成分接近。

论文的实验结果表明，理论结果可能适用于超过两层的网络。此外，论文提供了对比损失的NTK收敛结果，这是首次在对比学习领域进行的。论文还提出，对比学习模型学习的表示与从随机特征计算的矩阵的主要成分接近，这为对比学习和核方法之间的联系提供了新的视角。

最近的相关研究包括《Momentum Contrast for Unsupervised Visual Representation Learning》和《SimCLR: A Simple Framework for Contrastive Learning of Visual Representations》。