Understanding Multimodal Contrastive Learning Through Pointwise Mutual Information

多模态表示学习是将不同的模态，如文本、视觉和音频整合在一起的重要方法，对于实际应用具有重要意义。CLIP中提出的对称InfoNCE损失是多模态表示学习中的一个关键概念。在本研究中，我们通过点间互信息的视角提供了对称InfoNCE损失的理论理解，并且展示了在预训练中实现最优相似度的编码器在下游分类任务中提供了良好的表示，这是在温和假设下的。基于我们的理论结果，我们还提出了一种利用非线性核来丰富能力的多模态对比学习的新相似度度量方法。为了验证所提出的方法的有效性，我们在概念字幕数据集上演示了多模态表示模型的预训练，并在常见基准数据集上评估了零样本分类和线性分类。

本文旨在通过对对称InfoNCE损失的理论解释，从点间互信息的角度理解多模态表示学习，并证明在预训练中实现最佳相似度的编码器在下游分类任务中提供了良好的表示。

本文提出了一种新的多模态对比学习相似性度量方法，利用非线性核来丰富其能力，并在概念字幕数据集上演示了多模态表示模型的预训练，并在常见基准数据集上评估了零样本分类和线性分类。

本文提出了一种新的多模态对比学习相似性度量方法；演示了多模态表示模型的预训练，并在常见基准数据集上评估了零样本分类和线性分类。

最近的相关研究包括：1）《Unsupervised Multimodal Representation Learning by Cross-Modal Matching》；2）《Learning Multimodal Representations Using Modality-Specific Nonlinear ICA》；3）《Multimodal Deep Learning for Robust RGB-D Object Recognition》。