Generalizable Face Landmarking Guided by Conditional Face Warping

作为人脸建模、编辑和生成的重要步骤，面部关键点定位旨在从图像中提取面部关键点。在实践中需要具有普适性的面部关键点定位器，因为真实世界中的面部图像（例如动画和游戏中的角色）通常以各种方式进行风格化处理。然而，由于面部样式的多样性和标记化风格化面部图像的稀缺性，实现通用的面部关键点定位是具有挑战性的。在本研究中，我们提出了一种简单而有效的范例，基于标记化的真实人脸和未标记的风格化面部图像来学习通用的面部关键点定位器。我们的方法将面部关键点定位器作为条件面部变形器的关键模块进行学习。给定一对真实和风格化的面部图像，条件面部变形器从真实面部图像预测到风格化面部图像的变形场，其中面部关键点定位器预测变形场的结束点，并为相应的风格化面部图像提供高质量的伪关键点。通过交替优化策略，我们学习面部关键点定位器以最小化以下两个方面的差异：一是风格化面部图像与变形后的真实面部图像之间的差异，二是真实关键点和伪关键点之间的预测误差。在各种数据集上的实验表明，我们的方法在面部关键点定位任务中优于现有的最先进的领域自适应方法，从而实现了更好的通用性面部关键点定位器。代码可在https://plustwo0.github.io/project-face-landmarker上获取。

提高面部关键点检测的泛化能力

通过有标注的真实人脸图像和无标注的风格化人脸图像，学习一个条件人脸变形器的关键模块——面部关键点检测器，并利用交替优化的方法，最小化真实人脸图像与风格化人脸图像之间的差异以及真实关键点和伪关键点之间的预测误差，从而提高面部关键点检测的泛化能力。

论文的方法在各种数据集上都优于现有的领域自适应方法，在面部关键点检测任务上表现出更好的泛化能力。论文提供了代码和数据集，可供进一步研究使用。

最近的相关研究包括“Unsupervised Domain Adaptation for Face Alignment in the Wild”和“Face Alignment Across Large Poses: A 3D Solution”。