GRAPE: Generalizable and Robust Multi-view Facial Capture

基于深度学习的多视角面部捕捉方法已经展示出了惊人的准确性，而且比传统的网格注册管道快几个数量级。然而，现有的系统（例如TEMPEH）严格限制了对由用于捕捉其训练数据的相同摄像机阵列捕捉的数据的推断。在本研究中，我们旨在提高模型的泛化能力，使训练好的模型可以轻松地用于不同的摄像机阵列进行推断（即捕捉新数据）。为此，我们提出了一个更具有通用性的初始化模块，以提取与摄像机阵列无关的三维特征，包括基于可视外壳的头部定位和由可视外壳启用的可见性感知的三维特征聚合模块。此外，我们提出了一种“不同意更新”的学习策略，通过在训练过程中丢弃潜在的不准确监督信号来更好地处理数据噪声（例如不准确的注册、扫描噪声）。由此产生的具有泛化性和鲁棒性的拓扑一致的多视角面部捕捉系统（GRAPE）可以轻松地用于在不同的摄像机阵列上捕捉数据，从而减少了数据收集和处理的巨大工作量。在FaMoS和FaceScape数据集上的实验证明了所提出方法的有效性。

论文旨在提高多视角人脸捕捉方法的泛化能力，使训练好的模型能够在不同的相机阵列上进行推断。这是否是一个新问题？

为了提高模型的泛化能力，论文提出了更通用的初始化模块来提取与相机阵列无关的3D特征，并使用基于视觉外壳的头部定位和可见性感知的3D特征聚合模块来实现。此外，论文提出了一种“通过不同意见进行更新”的学习策略，以更好地处理数据噪声。这些方法构成了名为GRAPE的多视角人脸捕捉系统。

论文的实验结果表明，所提出的方法在FaMoS和FaceScape数据集上都表现出了很好的效果。此外，论文还开源了代码，可以供其他研究人员使用和参考。

在最近的相关研究中，还有一些关于多视角人脸捕捉的研究，例如《Deep3DFaceReconstruction: A Survey》和《Multiview Face Capture using Polarized Spherical Gradient Illumination》。