Towards Multimodal Sentiment Analysis Debiasing via Bias Purification

多模态情感分析（MSA）旨在通过整合来自不同模态（如视觉、语言和音频）的情感相关线索来理解人类意图。不幸的是，当前的MSA任务不可避免地受到未计划的数据集偏差的影响，特别是多模态话语级标签偏差和单词级上下文偏差。这些有害偏差可能会误导模型关注统计快捷方式和虚假相关性，导致性能瓶颈。为了缓解这些问题，我们提出了一个基于因果关系而非传统似然性的多模态反事实推断情感（MCIS）分析框架。具体而言，我们首先制定一个因果图来发现已经训练的基准模型中的有害偏差。在推理阶段，给定一个事实多模态输入，MCIS想象出两个反事实场景来净化和减轻这些偏差。然后，MCIS可以通过比较事实和反事实结果从有偏差的观察中做出无偏决策。我们在几个标准MSA基准测试上进行了广泛的实验。定性和定量结果显示了所提出框架的有效性。

本论文旨在解决当前多模态情感分析中存在的数据集偏差问题，以及这些偏差对模型性能造成的影响。

该论文提出了一种基于因果关系的多模态反事实推理情感分析框架，通过想象对照场景来净化和缓解偏差，从而做出无偏决策。

论文在多个标准MSA基准测试上进行了广泛的实验，定量和定性结果都表明了该框架的有效性。值得关注的是，该框架使用了因果推理而非传统的似然方法来解决偏差问题。

近期的相关研究包括：1. Multimodal Sentiment Analysis with Word-Level Fusion and Reinforcement Learning (ACL 2021); 2. Multimodal Sentiment Analysis: A Survey (arXiv 2021); 3. Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling (EMNLP 2020).