Monocular Identity-Conditioned Facial Reflectance Reconstruction

最近的3D人脸重建方法取得了显著进展，但单目高质量人脸反射重建仍然存在巨大挑战。现有方法依赖于大量的光照阶段捕获数据来学习人脸反射模型。然而，缺乏主题多样性会对实现良好的泛化和广泛适用性构成挑战。在本文中，我们在图像空间中学习反射先验而不是UV空间，并提出了一个名为ID2Reflectance的框架。我们的框架可以直接估计单个图像的反射图，同时使用有限的反射数据进行训练。我们的关键见解是，反射数据与RGB人脸共享面部结构，这使得可以从廉价的RGB数据中获得具有表现力的面部先验，从而减少对反射数据的依赖。我们首先学习高质量的人脸反射先验。具体而言，我们预训练多域面部特征码本，并设计了一种码本融合方法来对齐反射和RGB域。然后，我们提出了一个身份条件交换模块，将目标图像的面部身份注入预训练的自编码器中，以修改源反射图像的身份。最后，我们将多视角交换的反射图像拼接起来，以获得可渲染的资产。广泛的实验表明，我们的方法具有出色的泛化能力，并实现了野外人脸反射重建结果的最新水平。我们的项目页面是https://xingyuren.github.io/id2reflectance/。

解决单目高质量人脸反射重建的挑战，减少对反射数据的依赖性，提高泛化能力和适用性。

在图像空间中学习反射先验，并设计了一种基于身份交换的模块来修改源反射图像的身份。

论文通过预训练多域人脸特征码本和代码本融合方法来学习高质量的人脸反射先验，并将身份信息从目标图像注入到预训练的自编码器中，从而修改源反射图像的身份。实验结果表明，该方法具有良好的泛化能力和在野人脸反射重建的最先进结果。

最近的相关研究包括《Deep Reflectance Fields for High-Resolution Face Completion in the Wild》和《Deep Inverse Rendering for High-Resolution Indoor Scene Recovery》。