KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning

先前的多模态句子嵌入研究提出了多模态对比学习并取得了良好的结果。然而，在形成对比对时，将批次中的其余部分作为负样本而没有进行审查，这些研究遇到了许多可疑和嘈杂的负样本，严重影响了方法的整体性能。在本研究中，我们提出了一种新方法KDMCSE（知识蒸馏多模态对比学习句子嵌入），该方法增强了多模态表示的区分性和泛化性，并继承了教师模型的知识，以学习正负实例之间的差异，并通过此可以有效地检测到嘈杂和错误的负样本，避免它们被计算在对比目标中。此外，为了克服建模负对变化的限制，我们引入了一种新的对比目标AdapACSE（自适应角度边缘监督对比学习多模态句子嵌入），它通过加强角度空间内的边缘，同时捕捉负对中不同的语义，增强了区分性表示。在广泛使用的语义文本相似性（STS）基准测试中的实验结果表明了我们方法的有效性。

本论文旨在解决多模态句子嵌入中存在的负样本噪声问题，提出了一种新的知识蒸馏多模态对比学习方法，同时引入了自适应角度间隔监督对比学习目标，以提高表示的判别性和泛化性能。

KDMCSE方法利用知识蒸馏来学习正负样本之间的差异，有效地检测错误负样本，AdapACSE方法则通过自适应角度间隔监督对比学习目标来增强表示的判别性和泛化性能。

论文在广泛使用的语义文本相似性基准上进行了实验，证明了该方法的有效性。同时，论文还提供了开源代码和使用的数据集，为后续的研究提供了便利。值得进一步深入研究。

在多模态句子嵌入领域，之前的研究主要集中在对比学习上，例如CLSM、MIMN等。