Generalizable Face Landmarking Guided by Conditional Face Warping

作为人脸建模、编辑和生成的重要一步，人脸关键点检测旨在从图像中提取面部关键点。在实践中需要一个具有通用性的人脸关键点检测器，因为真实世界中的面部图像，例如动画和游戏中的角色，通常以各种方式进行风格化处理。然而，由于面部风格的多样性和标记化风格化面部图像的稀缺性，实现通用的人脸关键点检测是具有挑战性的。在本研究中，我们提出了一种简单但有效的范例，基于标记的真实人脸和未标记的风格化人脸来学习一个具有通用性的人脸关键点检测器。我们的方法将人脸关键点检测器作为条件人脸变形器的关键模块进行学习。给定一对真实和风格化的面部图像，条件人脸变形器预测从真实面部到风格化面部的变形场，其中人脸关键点检测器预测变形场的终点，并为相应的风格化面部图像提供高质量的伪关键点。应用交替优化策略，我们学习人脸关键点检测器以最小化：i）风格化面部和变形后的真实面部之间的差异，以及ii）真实关键点和伪关键点的预测误差。在各种数据集上的实验证明，我们的方法在人脸关键点检测任务中优于现有的最先进的域自适应方法，从而得到具有更好通用性的人脸关键点检测器。代码可在https://plustwo0.github.io/project-face-landmarker上获得。

如何实现面部关键点检测的泛化性？

使用有标注的真实人脸图像和无标注的风格化人脸图像，通过条件人脸变形器学习面部关键点检测器，从而提高泛化性。

使用条件人脸变形器预测从真实人脸到风格化人脸的变形场，利用面部关键点检测器预测变形场的终点，得到相应的风格化人脸的伪关键点，通过交替优化学习面部关键点检测器，取得了比现有领域自适应方法更好的性能。

在面部关键点检测领域，有许多相关研究，如《Face Alignment Across Large Poses: A 3D Solution》、《Robust Face Landmark Estimation Under Occlusion》等。在领域自适应方面，也有一些相关工作，如《Unsupervised Domain Adaptation for Face Recognition in Unlabeled Videos》等。