在跨域人脸表情识别领域中，由于不同算法选择的源/目标域数据集和骨干网络不一致，研究者们很难对其进行公平的比较。

为此，中山大学联合广东工业大学构建了一个统一且公平的评测基准，该基准复现了多个效果较好的跨域人脸表情识别方法，以及数个最新发表的通用领域自适应算法，并使用统一的源/目标域以及骨干网络选择，以此进行公平的比较评测。该基准可以公平评测各个工作提出的算法的有效性，更好地推进跨域人脸表情识别领域的发展。

此外，还提出了一个新的对抗图表达学习框架，该框架创造性地把图表示传播与对抗学习机制相结合，从而实现高效的跨域整体-局部表达协同迁移和学习。基于我们所提出的统一且公平的评测基准，该框架取得了优于所有现有方法的效果。

项目地址：

https://github.com/HCPLab-SYSU/CD-FER-Benchmark

该评测基准有多个优点：

  • 数据选取一致：该评测基准统一了所有方法的源/目标域数据集选取设置，以此确保对各个方法进行统一且公平的对比。

  • 骨干网络选取一致：该评测基准统一了所有方法的骨干网络选取设置，以此确保对各个方法进行统一且公平的对比。

  • 骨干网络多样：该基准选择较为通用且参数量较多的 ResNet-50 和 ResNet-18，以及轻量化网络Mobilenet-v2 作为骨干网络进行测试。

  • 数据集涵盖范围广：该评测基准囊括了多样化的数据集作为源/目标域：1）选择较多的数据集，包括 CK+ [1]，JAFFE [2]，SFEW2.0 [3]，FER2013 [4]，ExpW [5]，RAF [6]，AFE；2）数据集收集环境多样，包括实验室受控环境收集 [1, 2] 和自然非受控环境收集 [3,4,5,6] 和AFE；3）数据集人种文化多样，包括来自欧美文化 [1,3,4,5] 的以及来自亚洲文化的 [2] 和 AFE。

  • 对比方法涵盖范围广：除了自然直观的方法（如：直接迁移，基于伪标签进行微调）外，该评测基准对比了多样化的不同方法：1）效果较好的跨域人脸表情识别方法，包括 ICID [7]，DFA [8]，LPL [9]，DETN [10]，FTDNN [11]，ECAN [12]；2）最新发表的通用领域自适应算法，包括 CADA [13]，SAFN [14]，JUMBOT [15]，ETD [16]。

提出的对抗图表达学习框架（如下图），该框架首先构建两个图来分别关联每个域内和不同域之间的整体区域和局部区域。然后，该框架从所给定的输入图像中提取整体特征和局部特征，并使用可学习的各类统计分布来初始化相应的图节点。最后，该框架采用两个堆叠的图卷积网络在域内传播整体-局部特征以此探索整体区域与局部区域的相互关系，以及跨不同域传播整体-局部特征从而进行整体-局部特征的协同适应。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除