GGHead: Fast and Generalizable 3D Gaussian Heads

从大规模的2D图像集合中学习3D头部先验是实现高质量3D人体建模的重要步骤。其中一个核心要求是具有高效的架构，能够适应大规模数据集和高分辨率图像。不幸的是，现有的3D GAN在生成高分辨率样本时往往速度较慢，很难扩展，通常需要依靠2D超分辨网络以换取全局3D一致性。为了解决这些挑战，我们提出了Generative Gaussian Heads（GGHead），它采用了最近的3D Gaussian Splatting表示方法，并将其嵌入到3D GAN框架中。为了生成3D表示，我们采用了一个强大的2D CNN生成器，以预测模板头部网格的UV空间中的高斯属性。这样，GGHead利用了模板的UV布局的规则性，从而大大简化了预测无结构的3D高斯集合的难度。我们还通过对渲染的UV坐标使用一种新颖的总变分损失来提高生成的3D表示的几何保真度。直观地说，这种正则化鼓励相邻的渲染像素来自于模板的UV空间中相邻的高斯函数。总之，我们的流程能够高效地生成仅从单视角2D图像观察到的3D头部。我们提出的框架在FFHQ数据集上与现有的3D头部GAN的质量相当，同时速度更快，且完全符合3D一致性。因此，我们首次展示了以$1024^2$分辨率实时生成和渲染高质量3D一致头部的能力。

解决问题：论文旨在通过提出一种新的生成模型GGHead，解决现有3D GANs在生成高分辨率3D头部模型方面速度慢、渲染质量低、缺乏全局3D一致性等问题。

关键思路：GGHead采用了最近提出的3D高斯喷洒表示法，并在3D GAN框架中引入强大的2D CNN生成器，以预测模板头部网格UV空间中的高斯属性。这种方法利用了模板UV布局的规则性，大大简化了预测无结构的3D高斯集合的难度。

其他亮点：论文在FFHQ数据集上展示了GGHead的性能，结果表明GGHead在速度和全局3D一致性方面均优于现有3D GANs，并且可以实现实时生成和渲染1024x1024分辨率的高质量3D头部模型。此外，论文还提出了一种新的总变分损失，可以进一步提高生成3D头部模型的几何保真度。

相关研究：最近在这个领域中，还有一些相关的研究，如3D GANs、3D卷积神经网络等。