Self-Supervised Facial Representation Learning with Facial Region Awareness

自监督预训练已被证明在学习可转移的表示方面是有效的，这有利于各种视觉任务。本文提出了一个问题：自监督预训练是否能够学习出适用于各种面部分析任务的通用面部表示？最近为实现这一目标的努力仅限于将每个面部图像视为整体，即在图像级别上学习一致的面部表示，而忽略了局部面部表示的一致性（即像眼睛、鼻子等面部区域）。在这项工作中，我们首次尝试提出一个新的自监督面部表示学习框架，用于学习一致的全局和局部面部表示，即面部区域感知（FRA）。具体来说，我们通过匹配跨视图提取的局部面部表示来明确强制实施面部区域的一致性，这些局部面部表示是通过学习的用于突出显示面部区域的热点图提取的。受监督语义分割中的掩模预测的启发，我们通过特征图的每个像素投影和从可学习的位置嵌入计算的面部掩模嵌入之间的余弦相似度来获得热点图，这利用了注意机制在全局上查找面部图像以查找面部区域。为了学习这样的热点图，我们将面部掩模嵌入的学习形式化为一个深度聚类问题，通过将特征图中的像素特征分配给它们来实现。面部分类和回归任务的迁移学习结果表明，我们的FRA优于以前的预训练模型，更重要的是，使用ResNet作为各种任务的统一骨干，我们的FRA在面部分析任务中实现了与SOTA方法相当甚至更好的性能。

本文旨在探究自监督预训练是否能够学习通用的人脸特征表示，以及如何在全局和局部上保持一致性。

本文提出了一种名为FRA的自监督人脸表示学习框架，通过学习高亮人脸区域的热图来实现全局和局部一致性。通过将像素特征分配给人脸掩模嵌入来学习这些热图，从而获得更好的人脸分类和回归性能。

本文的实验结果表明，FRA在人脸分类和回归任务中优于之前的预训练模型，并且使用ResNet作为统一的骨干网络，在各种任务中实现了与SOTA方法相当甚至更好的性能。此外，本文提出的FRA框架可以为未来的人脸分析研究提供新的思路。

近期的相关研究包括：Self-Supervised Learning for Facial Recognition（CVPR 2020）和Facial Expression Recognition with Self-Supervised Pre-training and Temporal Attention（AAAI 2021）等。