Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition

多模态模型的发展显著推进了多模态情感分析和情感识别。然而，在实际应用中，各种缺失模态的存在经常导致模型性能的降级。在本研究中，我们提出了一种新颖的多模态Transformer框架，使用提示学习来解决缺失模态的问题。我们的方法引入了三种类型的提示：生成提示、缺失信号提示和缺失类型提示。这些提示使得可以生成缺失的模态特征，并促进了模态内部和模态间信息的学习。通过提示学习，我们实现了可训练参数数量的大幅减少。我们提出的方法在所有评估指标上显著优于其他方法。广泛的实验和消融研究证明了我们方法的有效性和鲁棒性，展示了其有效处理缺失模态的能力。

本论文旨在解决多模态情感分析和情感识别中缺失模态的问题，并提出了一种基于prompt learning的多模态Transformer框架。

通过引入生成提示、缺失信号提示和缺失类型提示，实现了缺失模态特征的生成和跨模态信息的学习，从而有效地解决了缺失模态的问题。

论文通过实验验证了该方法的有效性和鲁棒性，并展示了其在处理缺失模态方面的能力。同时，该方法减少了可训练参数的数量，并在评估指标上显著优于其他方法。

在这个领域中，最近的相关研究包括：'Multimodal sentiment analysis: A survey'，'Multimodal sentiment analysis using deep learning: An overview'，'Multimodal sentiment analysis: A review of the current state-of-the-art and challenges'等。