High-Fidelity Facial Albedo Estimation via Texture Quantization

最近的3D面部重建方法在形状估计方面取得了显著进展，但高保真度的面部反照率重建仍然具有挑战性。现有方法依赖于昂贵的光学舞台捕捉数据来学习面部反照率图。然而，受试者缺乏多样性限制了他们恢复高保真度结果的能力。本文提出了一种新颖的面部反照率重建模型HiFiAlbedo，它可以直接从单个图像中恢复反照率图，而无需捕获反照率数据。我们的关键洞察是反照率图是光照不变纹理图，这使我们能够使用廉价的纹理数据通过消除光照来得出反照率估计。为了实现这一点，我们首先收集大规模的超高分辨率面部图像，并训练高保真度的面部纹理码书。然后，我们使用FFHQ数据集和有限的UV纹理来微调编码器，以在图像和UV空间中通过对抗监督从输入图像进行纹理重建。最后，我们训练一个交叉注意力模块，并利用组身份损失来学习从面部纹理到反照率领域的适应。广泛的实验表明，我们的方法表现出极好的通用性，并能够实现野外面部反照率恢复的高保真度结果。我们的代码、预训练权重和训练数据将在https://hifialbedo.github.io/上公开。

本论文旨在解决高保真面部颜色重建的问题，尤其是在缺乏多样性主体的情况下。

通过使用纹理数据来推断面部颜色，消除光照的影响，从而直接从单个图像中恢复面部颜色。

论文使用大规模的高分辨率面部图像和有限的UV纹理进行训练，使用对抗性监督在图像和UV空间中微调编码器，最后使用交叉注意力模块和组身份损失来学习从面部纹理到颜色的转换。实验结果表明，该方法具有出色的泛化性能和高保真度，代码、预训练权重和训练数据将公开发布。

与本文相关的研究包括基于深度学习的面部重建和颜色重建方法，例如PRNet和Deep3DFace。