MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models

本文介绍了我们在SemEval 2024任务3的Subtask 2中关于对话中多模态情感原因分析的获胜提交。我们提出了一种新颖的多模态情感识别和多模态情感原因提取（MER-MCE）框架，该框架使用专门的情感编码器集成了文本、音频和视觉模态。我们的方法通过利用模态特定的特征来增强情感理解和因果推断，使自己与表现最佳的团队区别开来。实验评估证明了我们多模态方法的优势，我们的提交获得了0.3435的有竞争力的加权F1分数，在排名上仅落后于第一名团队0.0339和第二名团队0.0025的差距。项目链接：https://github.com/MIPS-COLT/MER-MCE.git。

该论文旨在解决多模态情感对话中情感原因分析的问题，并验证提出的MER-MCE框架的有效性。

该论文提出了一种新的多模态情感识别和情感原因提取框架，通过专门的情感编码器整合文本、音频和视觉模态，利用模态特定的特征增强情感理解和因果推断。

该论文通过实验评估证明了该多模态方法的优势，取得了有竞争力的加权F1得分，排名第三，仅落后于第一名0.0339和第二名0.0025。此外，该论文提供了开源代码，可供进一步研究使用。

最近在这个领域中，还有一些相关的研究，如SemEval 2019 Task 3和SemEval 2020 Task 7等。