MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models

本文介绍了我们在SemEval 2024任务3的Subtask 2中获胜的提交，该任务是关于对话中多模态情感原因分析的。我们提出了一种新颖的多模态情感识别和多模态情感原因提取（MER-MCE）框架，它使用专门的情感编码器将文本、音频和视觉模态集成起来。我们的方法通过利用模态特定的特征来增强情感理解和因果推理，使自己与表现最佳的团队区分开来。实验评估证明了我们多模态方法的优势，我们的提交获得了有竞争力的加权F1得分0.3435，在排名上仅落后于第一名团队0.0339和第二名团队0.0025。项目地址：https://github.com/MIPS-COLT/MER-MCE.git。

本论文旨在解决多模态情感对话中的情感原因分析问题，通过提出一种新的Multimodal Emotion Recognition and Multimodal Emotion Cause Extraction (MER-MCE)框架，整合文本、音频和视觉模态，利用专门的情感编码器来增强情感理解和因果推断。

论文提出了一种新的多模态情感识别和情感原因提取框架，通过整合不同模态的特征来进行情感理解和因果推断，与当前领域的研究相比，这种方法具有更好的性能。

论文使用了专门的情感编码器来整合不同模态的特征，实验结果表明这种方法比其他方法更有效。论文的开源代码可以在GitHub上找到，而且该方法在多模态情感分析领域有着广泛的应用前景。

最近在这个领域中，还有一些相关的研究，如：1）Emotion Cause Detection with Emotion-Specific Neural Attention，2）Multimodal Emotion Recognition with Dynamic Late Fusion，3）Multimodal Emotion Recognition Using Deep Neural Networks with Audio and Text，等。