NPGA: Neural Parametric Gaussian Avatars

创建高保真度的数字化人头是将虚拟组件进一步整合到我们日常生活中的重要步骤。由于需要高度逼真的照片效果和实时渲染性能，构建这样的化身是一个具有挑战性的研究问题。在这项工作中，我们提出了神经参数高斯化身（NPGA），这是一种数据驱动的方法，用于从多视角视频录制中创建高保真度、可控制的化身。我们基于3D高斯喷洒构建了我们的方法，因为它具有高效的渲染能力，并继承了点云的拓扑灵活性。与以往的工作不同，我们将化身的动态条件设置为神经参数头模型（NPHM）的丰富表情空间，而不是基于网格的3DMM。为此，我们将底层NPHM的反向变形场提炼成与光栅化渲染兼容的正向变形。所有剩余的细节都是从多视角视频中学习的，这些细节与表情有关。为了增加我们化身的表现能力，我们使用每个基元潜在特征来增强规范高斯点云，这些特征控制其动态行为。为了规范化这种增加的动态表现力，我们在潜在特征和预测动态上提出了拉普拉斯项。我们在公共NeRSemble数据集上评估了我们的方法，证明NPGA在自我再演任务上比之前的最先进的化身提高了2.6 PSNR。此外，我们展示了从现实世界的单眼视频中准确的动画能力。

本论文旨在解决如何从多视角视频录制中创建高保真、可控头像的问题，提出了一种数据驱动的方法。

论文的关键思路是使用神经参数化头部模型（NPHM）的表情空间来调节头像的动态，同时利用3D高斯点云进行高效渲染和拓扑灵活性。

论文使用Laplacian项对潜在特征和预测动态进行正则化，增加了头像的表现能力。在公共数据集NeRSemble上的实验表明，该方法在自我重现任务上显著优于之前的最先进头像方法。

在相关研究中，之前的工作主要使用基于网格的3DMMs，而本文使用神经参数化头部模型来调节头像的表情空间。