Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

本文提出了一种高保真头像建模方法——高斯头像，用于轻量级稀疏视角下的头像建模。我们优化了中性的三维高斯模型和一个完全学习的基于MLP的变形场来捕捉复杂的表情。这两个部分相互促进，因此我们的方法可以在确保表情准确性的同时建模细粒度的动态细节。此外，我们还设计了一种基于隐式SDF和深度Marching Tetrahedra的几何引导初始化策略，以确保训练过程的稳定性和收敛性。实验结果表明，我们的方法优于其他最先进的稀疏视角方法，在2K分辨率下实现了超高保真度的渲染质量，即使在夸张的表情下也是如此。

本文旨在解决轻量级稀疏视图下高保真3D头像建模的挑战。

本文提出了一种高斯头像的建模方法，使用可控的3D高斯来表示头像，并优化中性3D高斯和基于MLP的变形场来捕捉复杂的表情，两部分互相促进，以确保表情的准确性和建模细节的精细度。

本文的亮点包括使用几何引导初始化策略、基于SDF和Deep Marching Tetrahedra的训练过程的稳定性和收敛性、超高保真度的渲染质量，实验使用2K分辨率，甚至在夸张的表情下也能达到高保真度。此外，本文还使用了开源数据集和代码。

与本文相关的研究包括Sparse Photorealistic Face Reconstruction，Deep Video Portraits，Neural Face Editing in Videos等。