Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning

多模态学习最近获得了显著的关注，在各种零样本分类任务以及一系列感知和生成应用中表现出色。诸如对比语言-图像预训练（CLIP）等模型旨在通过对比学习，在不同模态（如图像和文本）之间建立共享表示空间，从而实现模态间的桥梁作用。尽管取得了成功，但多模态学习的内在机制尚未完全理解。值得注意的是，这些模型通常表现出模态差距，即不同模态在共享表示空间中占据不同的区域。在这项工作中，我们通过对梯度流学习动态的特征分析，深入探讨了模态差距的产生过程。具体而言，我们确定了不匹配的数据对和可学习温度参数在训练过程中导致并加剧模态差距的关键作用。此外，我们的理论见解通过在实际CLIP模型上的实验得到了验证。这些发现为缓解模态差距提供了原则性的指导，包括适当的温度调度和模态交换等策略。此外，我们还证明了缩小模态差距可以提高图像-文本检索等任务的性能。

该论文试图解决多模态学习中的模态差距问题，即不同模态在共享表示空间中占据不同的区域。这是一个在多模态学习领域中逐渐引起关注的问题。

论文的关键思路是通过分析梯度流学习动力学来揭示模态差距的产生机制。具体来说，论文识别出不匹配的数据对和可学习的温度参数在训练过程中导致和加剧模态差距的关键作用。这一思路为理解多模态模型的内部机制提供了新的视角。

论文通过理论分析和实验验证，提出了几种减少模态差距的方法，如适当的温度调度和模态交换策略。这些方法在实际的CLIP模型上进行了测试，并证明可以提高图像-文本检索等任务的性能。此外，论文还开源了实验代码，方便其他研究人员复现和进一步研究。

近期在这个领域中，还有一些相关的研究，例如： 1. 'Understanding and Improving Layer Normalization' - 通过改进归一化技术来优化多模态模型。 2. 'Multimodal Transformer for Unaligned Multimodal Language Sequences' - 提出了用于未对齐多模态语言序列的多模态变换器。 3. 'Learning to Align: A Unified Framework for Multimodal Alignment' - 提出了一种统一的框架来对齐不同模态的数据。