Masked Face Recognition with Generative-to-Discriminative Representations

本文提出了一种统一的深度网络，用于学习生成-鉴别式表示，以促进口罩人脸识别。为此，我们将网络分为三个模块，并以贪婪的逐模块预训练方式在合成口罩人脸上进行学习。首先，我们利用预训练的生成编码器进行人脸修复，并微调其将口罩人脸表示为类别感知描述符。由于生成编码器恢复上下文信息的能力，所得到的描述符可以提供面对各种口罩的遮挡鲁棒性表示，从而减轻了各种口罩的影响。然后，我们将一个多层卷积网络作为鉴别式改革者并学习它将类别感知描述符转换为身份感知向量，其中学习是通过从现成的人脸识别模型中提取关系知识来有效监督的。这样，鉴别式改革者和生成编码器一起作为预训练的骨干网络，提供通用和鉴别性的口罩人脸表示。最后，我们将一个全连接层和一个softmax层串联成一个特征分类器，并微调它来识别改革后的身份感知向量。合成和现实数据集上的广泛实验证明了我们的方法在识别口罩人脸方面的有效性。

本文旨在解决戴口罩的人脸识别问题，提出了一种基于统一深度网络的解决方案。该问题在当前社会疫情背景下变得尤为重要，同时也是一个新的问题。

本文的关键思路是将网络分为三个模块，并在合成的戴口罩人脸数据上进行模块化预训练。首先，利用预训练的生成编码器将戴口罩的人脸转化为具有类别感知描述符的向量，以提供鲁棒性；然后，引入一个卷积网络，将这些向量转化为具有身份感知的向量，并通过蒸馏关系知识来有效地监督学习；最后，通过一个全连接层和一个softmax层来识别身份感知的向量。

本文的实验结果表明，该方法在合成和真实数据集上均表现出色。该方法的亮点包括：设计了一种模块化的预训练方法，提出了一种生成到判别式的表示学习方法，使用了蒸馏关系知识进行有效监督学习。此外，该方法还具有较好的通用性和鲁棒性，值得进一步研究。

在该领域的相关研究包括：《Masked Face Recognition Dataset and Application》、《Deep Face Recognition: A Survey》等。