InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars

虚拟头像的高保真度和高效率是数字化头像创作的核心，但是最近依赖于2D或3D生成模型的方法经常出现形状畸变、表情不准确和身份抖动等局限。此外，现有的单次反演技术未能充分利用多个输入图像进行详细特征提取。我们提出了一种新颖的框架——增量3D GAN反演，通过一种旨在从多个帧中提高保真度的算法，提高了头像重建性能，其重建质量与帧数成正比。我们的方法引入了一种独特的可动画的3D GAN先验，其中包括两个关键修改，以增强表情可控性，以及一种基于UV参数化将纹理特征空间分类的创新神经纹理编码器。与传统技术不同，我们的架构强调像素对齐的图像到图像翻译，减轻了学习观察和规范空间之间对应关系的需要。此外，我们还将基于ConvGRU的循环网络结合到多个帧的时间数据聚合中，提高了几何和纹理细节重建。所提出的范式在单次和少量样本头像动画任务上展现了最先进的性能。

本文旨在通过提出一种新的框架，即增量3D GAN反演，来提高数字头像重建的性能和质量，解决现有方法存在的形状扭曲、表情不准确和身份闪烁等问题。

本文提出了一个独特的可动态表情控制的3D GAN先验，以及一种基于UV参数化的神经纹理编码器，用于对纹理特征空间进行分类。此外，还使用ConvGRU-based循环网络对多帧数据进行聚合，提高几何和纹理细节重建。

本文的亮点包括使用多帧数据进行重建，提高重建质量；提出了一个可动态表情控制的3D GAN先验；使用基于UV参数化的神经纹理编码器对纹理特征空间进行分类；使用ConvGRU-based循环网络对多帧数据进行聚合。实验结果表明，本文提出的方法在一次或少次重建任务中表现出最先进的性能。

在这个领域中，还有一些相关的研究，如《High-Fidelity Facial and Speech Animation for VR HMDs》、《Neural 3D Mesh Renderer》等。