Learning with Alignments: Tackling the Inter- and Intra-domain Shifts for Cross-multidomain Facial Expression Recognition

面部表情识别（FER）在人机交互中具有重要意义。现有的跨领域FER方法通常只将知识从单个标记源领域转移到未标记的目标领域，忽略了跨多个源的综合信息。然而，跨多领域FER（CMFER）对于（i）多个领域之间的内在跨域偏移和（ii）由于模糊表情和低类间差异而产生的领域内偏移非常具有挑战性。在本文中，我们提出了一种新颖的带对齐的CMFER框架，名为LA-CMFER，以处理跨域和领域内偏移。具体而言，LA-CMFER由全局分支和本地分支构成，分别从完整图像和局部微妙表情中提取特征。基于此，LA-CMFER提出了一种双层跨域对齐方法，在样本级别上强制模型优先考虑难以对齐的样本，在集群级别上在类属性的指导下逐渐生成良好聚类的特征空间，从而缩小跨域偏移。为了解决领域内偏移，LA-CMFER引入了一种多视角领域内对齐方法，具有多视角聚类一致性约束，其中建立预测相似性矩阵以追求全局和局部视图之间的一致性，从而细化伪标签并消除潜在噪声。在六个基准数据集上进行的大量实验验证了我们的LA-CMFER的优越性。

解决问题：该论文旨在解决交叉多领域面部表情识别中的领域转移问题和内部差异问题。

关键思路：该论文提出了一种名为LA-CMFER的学习与对齐框架，通过全局分支和局部分支提取特征，使用双层跨域对齐方法和多视图内部对齐方法来解决领域转移和内部差异问题。

其他亮点：该论文在六个基准数据集上进行了广泛的实验，并验证了LA-CMFER的优越性。该论文的代码已经开源。

相关研究：最近的相关研究包括“Cross-Domain Facial Expression Recognition: A Comprehensive Survey”和“Facial Expression Recognition Using Improved Convolutional Neural Networks”。