Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities

多模态情感分析（MSA）旨在通过多模态数据理解人类情感。大多数 MSA 的研究都基于模态完整性的假设。然而，在实际应用中，一些实际因素导致模态缺失不确定性，这会严重降低模型的性能。为此，我们提出了一种针对不确定缺失模态的 MSA 任务的相关解耦知识蒸馏（CorrKD）框架。具体而言，我们提出了一种样本级对比蒸馏机制，将包含跨样本相关性的全面知识传递以重构缺失的语义。此外，引入了一种类别引导的原型蒸馏机制，使用类别原型捕获跨类别相关性，以对齐特征分布并生成有利的联合表示。最后，我们设计了一种响应解耦的一致性蒸馏策略，通过响应解耦和互信息最大化来优化学生网络的情感决策边界。在三个数据集上的全面实验表明，与几个基线相比，我们的框架可以实现有利的改进。

该论文旨在解决多模态情感分析中存在的模态不完整性问题，提出了一种基于知识蒸馏的框架来重构缺失语义。

论文提出了一种CorrKD框架，其中包括样本级对比蒸馏机制、类别引导原型蒸馏机制和响应分离一致性蒸馏策略，以优化学生网络的情感决策边界。

论文的实验结果表明，该框架在三个数据集上都取得了明显的改进，相比其他基线方法，该框架的性能更好。此外，论文还提供了开源代码。

最近的相关研究包括“Multi-Modal Sentiment Analysis using Deep Learning: An Overview”和“Multimodal Sentiment Analysis: A Survey”。