FaceLift: Semi-supervised 3D Facial Landmark Localization

3D面部标记定位已被证明在应用中特别有用，例如面部跟踪，3D面部建模和基于图像的3D面部重建。在监督学习的情况下，这种方法通常依赖于从基于3DMM的注册派生的3D标记数据集，这些数据集通常与手动标记的人类共识所选择的空间定义对齐相比缺乏精度，例如，眉毛标记如何定义？这在高质量2D人类标签和3DMM生成的地标数据集之间创建了差距，最终限制了它们的有效性。为了解决这个问题，我们介绍了一种新颖的半监督学习方法，通过直接提取（可见的）手动标记的2D标记来学习3D标记，并确保更好的定义对齐，而无需3D标记数据集。为了将2D标记提升到3D，我们利用3D感知GAN进行更好的多视角一致性学习，并利用野外多帧视频进行强大的交叉泛化。实证实验表明，我们的方法不仅在2D-3D地标之间实现了更好的定义对齐，而且在3DMM标记和摄影测量基准评估数据集上也优于其他监督学习3D地标定位方法。项目页面：https://davidcferman.github.io/FaceLift

论文试图通过半监督学习方法，直接将手工标注的2D人脸关键点提升到3D空间中，以解决现有3D关键点数据集缺乏空间对齐问题的限制。

通过使用3D-aware GANs进行多视角一致性学习，以及在野外多帧视频中进行鲁棒的交叉泛化，将2D关键点提升到3D空间中，从而实现更好的空间对齐。

论文通过实验验证了该方法不仅可以实现更好的2D-3D关键点空间对齐，而且在3DMM标记和摄影测量基准评估数据集上也优于其他监督学习的3D关键点定位方法。该论文提供了项目页面和开源代码。

在最近的相关研究中，还有一些基于3D模型的人脸关键点定位方法，如3DDFA、3DMM和PRN等。