Relightable Gaussian Codec Avatars

本文指出，灯光重建的保真度受到几何和外观表示的限制。对于几何表示，网格和体积方法都难以建模复杂的结构，例如三维头发几何。对于外观表示，现有的灯光重建模型保真度有限，而且往往无法在高分辨率连续环境中实时渲染。本文提出了一种方法，称为可重建高保真度高清头像，可以构建高保真度的可重建头像，可以生成新的表情动画。我们的几何模型基于三维高斯模型，可以捕捉动态面部序列上的头发细节和毛孔等亚毫米级的3D一致性细节。为了支持人头部的多种材料，例如眼睛、皮肤和头发，我们提出了一种基于可学习辐射传递的新型可重建外观模型。结合全局照明感知的球谐函数和球形高斯函数，我们实现了空间全频反射的实时灯光重建。该外观模型可以在点光源和连续光照下有效地进行重建。我们还通过引入可重建的显式眼睛模型来提高眼睛反射的保真度，并实现显式的凝视控制。我们的方法在不损害实时性能的情况下优于现有方法。我们还展示了在消费者VR头戴式设备上实时重建头像的效率和保真度。

本论文旨在解决现有的光照模型在几何和外观表示方面的限制，以及在高分辨率连续环境下实时渲染的困难。作者提出了一种高保真度的可重光头像生成方法，能够捕捉人脸的微小细节，并且能够在实时性要求下进行全频反射。

论文的关键思路是采用基于3D高斯模型的几何模型和基于可学习辐射传输的外观模型，以及全局照明感知的球谐函数进行实时重光照渲染。

论文的亮点包括：1）使用基于3D高斯模型的几何模型，能够捕捉人脸的微小细节；2）采用可学习辐射传输的外观模型，能够对人脸的不同材质进行统一处理；3）使用全局照明感知的球谐函数进行实时重光照渲染，能够在实时性要求下进行全频反射；4）通过引入可重光照明的显式眼模型，能够改善眼睛反射的保真度和实现显式凝视控制。

在这个领域中，最近的相关研究包括：Deep Reflectance Fields for View Synthesis；A Survey on Neural Rendering；NeRF: Representing Scenes as Neural Radiance Fields；等。