PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting

尽管已经取得了很大的进展，实现实时高保真头像动画仍然很困难，现有方法必须在速度和质量之间进行权衡。基于3DMM的方法通常无法对非面部结构（如眼镜和发型）进行建模，而神经隐式模型则存在变形不灵活和渲染效率低的问题。虽然已经证明3D高斯具有几何表示和辐射场重建的有 promising 能力，但在头像创建中应用3D高斯仍然是一个重大挑战，因为3D高斯很难对由于不同姿势和表情引起的头部形状变化进行建模。本文介绍了PSAvatar，这是一个新颖的可动画头像创建框架，利用离散几何基元创建参数化可变形模型，并采用3D高斯进行精细细节表示和高保真渲染。参数化可变形模型是一种基于点的可变形形状模型（PMSM），它使用点而不是网格进行3D表示，以实现增强的表示灵活性。PMSM首先通过在表面和网格之外进行采样将FLAME网格转换为点，以实现对非表面结构和复杂几何结构（如眼镜和发型）的重建。通过以分析合成方式将这些点与头部形状对齐，PMSM使得可以利用3D高斯进行精细细节表示和外观建模，从而实现高保真头像的创建。我们展示了PSAvatar可以重建多种主题的高保真头像，并且这些头像可以实时动画化（分辨率为512 x 512，帧率≥25 fps）。

本文旨在解决头像动画创作中速度与质量之间的平衡问题，通过使用离散几何原语创建可参数化的可变形形状模型，并利用三维高斯模型进行细节表示和高保真度渲染。

本文提出了PSAvatar框架，利用点云代替网格进行三维表示，通过分析-合成的方式将这些点与头部形状对齐，从而实现了对非面部结构的建模，同时利用三维高斯模型进行细节表示和外观建模，实现了高保真度头像的创建。

本文的亮点在于提出了一种新的框架，通过离散几何原语和三维高斯模型的结合，实现了速度和质量的平衡。实验结果表明，PSAvatar可以重建多种主题的高保真度头像，并且可以在实时动画中使用。

在头像动画创作领域，已有许多相关研究。例如，3DMM方法在建模面部结构方面表现出色，但无法建模非面部结构。神经隐式模型虽然可以进行高保真度渲染，但在变形灵活性和渲染效率方面存在问题。