Infinite 3D Landmarks: Improving Continuous 2D Facial Landmark Detection

本文研究了实际应用最先进的面部关键点检测器中的三个重要问题，并展示了如何通过特定的架构修改组合直接提高其准确性和时间稳定性。首先，许多面部关键点检测器需要对脸部进行归一化预处理，这是通过一个单独训练的神经网络在输入图像中裁剪和调整脸部完成的。不能保证这个预训练网络对于关键点检测来说执行最佳的脸部归一化。相反，我们分析了在无监督的情况下与关键点检测器一起训练的空间变换网络的使用，并联合学习最佳的脸部归一化和关键点检测。其次，我们展示了修改关键点预测器的输出头以在规范的三维空间中推断关键点可以进一步提高准确性。为了将预测的3D关键点转换为屏幕空间，我们还从输入图像预测相机内参和头部姿态。作为一个副作用，这允许仅使用2D关键点作为监督来从给定图像预测3D面部形状，这在确定关键点可见性等方面是有用的。最后，当同时在多个数据集上训练关键点检测器时，数据集之间的注释不一致会迫使网络产生次优平均值。我们建议添加一个语义校正网络来解决这个问题。这个额外的轻量级神经网络与关键点检测器一起训练，不需要任何额外的监督。虽然本文的见解可以应用于大多数常见的关键点检测器，但我们特别针对最近提出的连续2D关键点检测器，以展示我们的每个增加如何在标准基准测试中对最先进的技术产生有意义的改进。

本文旨在解决现有面部特征检测器的三个问题，即面部归一化、输出头的修改和数据集注释不一致问题，以提高其准确性和稳定性。

文章提出了三个特定的架构修改方案，分别是与面部特征检测器一起训练的空间变换网络、修改输出头以推断规范化的三维空间中的面部特征点以及添加语义校正网络以解决多个数据集注释不一致的问题。

实验结果表明，这三个修改方案能够显著提高面部特征检测器的准确性和稳定性。此外，文章还提出了预测相机内参和头部姿态以及从2D特征点预测3D面部形状的方法。

最近的相关研究包括基于深度学习的面部特征检测器的改进，如DAN，TCDCN和SAN等。