FAGhead: Fully Animate Gaussian Head from Monocular Videos

本文介绍了一种名为FAGhead的方法，可以从单目视频中实现可完全控制的人像重建，这在视觉现实中有着广泛的应用。我们详细阐述了传统的三维可变形网格（3DMM）并优化了中性三维高斯模型以实现复杂表情的重建。此外，我们采用了一种新颖的基于点的可学习表示场（PLRF），其中点的高斯位置是可学习的，以增强重建性能。同时，为了有效管理角色的边缘，我们引入了α渲染来监督每个像素的α值。在开源数据集和我们的捕捉数据集上进行的广泛实验结果表明，我们的方法能够生成高保真的三维头像角色，并完全控制虚拟角色的表情和姿势，其表现优于现有的作品。

论文旨在介绍一种从单目视频中生成可完全控制的人像头像的方法，解决了高保真重建三维人体化身的问题。

论文采用了传统的三维可塑网格（3DMM）和学习高斯点位置的基于点的可学习表示场（PLRF）来增强重建性能，并引入了alpha渲染来管理化身的边缘。

论文在开源数据集和自己的数据集上进行了大量实验，并证明了其方法能够生成高保真度的3D头像人形象，并完全控制虚拟人形象的表情和姿势，表现优于现有的方法。

最近的相关研究包括“Deep Video Portraits”和“Neural 3D Mesh Renderer”。