OUS: Scene-Guided Dynamic Facial Expression Recognition

动态面部表情识别（DFER）对于情感计算至关重要，但往往忽视了场景背景的影响。我们已经确定了当前DFER任务中的一个重要问题：人类注释者通常会从各个角度整合情感，包括环境线索和身体语言，而现有的DFER方法往往将场景视为需要过滤的噪声，仅关注面部信息。我们将其称为“刚性认知问题”。刚性认知问题可能导致注释者和模型在某些样本中的认知存在差异。为了更好地与人类情感认知范式相一致，我们提出了一种综合理解场景DFER方法（OUS）。OUS有效地整合了场景和面部特征，结合场景特定的情感知识进行DFER。在DFER领域中最大的两个数据集DFEW和FERV39k上进行了大量实验，证明OUS显著优于现有方法。通过分析刚性认知问题，OUS成功地理解了场景背景和情感表达之间的复杂关系，与真实世界情境中的人类情感理解相一致。

论文试图解决DFER领域中的Rigid Cognitive Problem，即当前DFER方法忽略了场景上下文对情感识别的影响，导致模型对情感的理解与人类认知存在差异。

论文提出了一种Overall Understanding of the Scene DFER方法（OUS），通过有效地整合场景和面部特征，结合场景特定的情感知识来进行DFER。

论文在DFEW和FERV39k数据集上进行了实验，证明OUS方法明显优于现有方法。同时，论文成功地解决了Rigid Cognitive Problem，使得模型更加符合人类情感认知的实际情况。

近期的相关研究包括：'Facial Expression Recognition: A Survey'、'Facial Expression Recognition using Deep Learning: A Survey'等。