Towards Context-Aware Emotion Recognition Debiasing from a Causal Demystification Perspective via De-confounded Training

计算机视觉领域广泛关注从不同情境中理解情感。上下文感知情感识别（CAER）的核心理念是利用丰富的上下文信息为识别目标人物的情感提供有价值的语义线索。目前的方法不可避免地专注于设计复杂的结构，以从上下文中提取感知关键的表示。然而，一个长期被忽视的困境是，现有数据集中严重的上下文偏见导致不同上下文中情感状态的不平衡分布，从而导致有偏的视觉表示学习。从因果解释的角度来看，有害的偏见被确定为一个混淆因素，它误导现有模型基于似然估计学习虚假的相关性，限制了模型的性能。为了解决这个问题，我们采用因果推断来解开模型对这种偏见的影响，并通过定制的因果图表达CAER任务中变量之间的因果关系。随后，我们提出了一个上下文因果干预模块（CCIM），以消除混淆因素，它建立在反向门调整理论的基础上，以便在模型训练期间寻求近似的因果效应。作为即插即用的组件，CCIM可以轻松地与现有方法集成，并带来显著的改进。对三个数据集的系统实验表明了我们的CCIM的有效性。

论文旨在解决情感识别中现有数据集中存在的情境偏见问题，该偏见导致不同情境下情感状态的分布不平衡，从而影响模型的性能。

论文采用因果推理方法，通过构建自定义因果图来解决情境偏见问题，设计了一种上下文因果干预模块（CCIM）来消除混淆因素的影响。

CCIM是一种可插入式组件，易于与现有方法集成并带来显著改进。通过在三个数据集上进行实验，证明了CCIM的有效性。

最近的相关研究包括基于深度学习的情感识别和因果推理方法在计算机视觉领域的应用等。相关论文包括：“A Survey on Deep Learning for Emotion Recognition”和“Causal Inference in Computer Vision: A Survey”。