Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior

现有的基于神经渲染的文本生成3D肖像的方法通常利用人类几何先验和扩散模型来获取指导。然而，仅仅依赖几何信息会引入诸如Janus问题、过度饱和和过度平滑等问题。我们提出了Portrait3D，这是一个基于神经渲染的框架，采用新颖的联合几何-外貌先验来实现文本生成3D肖像，克服了上述问题。为了实现这一点，我们训练了一个3D肖像生成器3DPortraitGAN-Pyramid作为强大的先验。这个生成器能够生成360度的标准3D肖像，作为后续扩散生成过程的起点。为了减轻大多数3D感知GAN常用的特征图3D表示中高频信息引起的“网格状”伪影，我们将一种新颖的金字塔三网格3D表示集成到3DPortraitGAN-Pyramid中。为了从文本生成3D肖像，我们首先将与给定提示对齐的随机生成的图像投影到预训练的3DPortraitGAN-Pyramid的潜空间中。然后使用生成的潜码合成一个金字塔三网格。从获得的金字塔三网格开始，我们使用得分蒸馏采样将扩散模型的知识蒸馏到金字塔三网格中。接下来，我们利用扩散模型来改进3D肖像的渲染图像，然后使用这些改进的图像作为训练数据来进一步优化金字塔三网格，有效消除了不真实的颜色和不自然的伪影问题。我们的实验结果表明，Portrait3D可以生成与提示对齐的逼真、高质量和标准的3D肖像。

本文旨在解决文本到三维肖像生成中存在的几个问题，如Janus问题、过度饱和和过度平滑等，并提出一种新的联合几何外观先验的神经渲染框架Portrait3D。

本文的关键思路是使用3DPortraitGAN-Pyramid作为稳健的先验，并将金字塔三角网格三维表示集成到其中，以生成360度的规范三维肖像，并使用得分蒸馏采样和扩散模型对其进行优化。

本文的亮点包括使用3DPortraitGAN-Pyramid作为稳健的先验、集成金字塔三角网格三维表示、使用得分蒸馏采样和扩散模型对生成的三维肖像进行优化等。实验结果表明，Portrait3D能够生成与提示相一致的逼真、高质量、规范的三维肖像。

最近的相关研究包括使用神经渲染技术生成三维模型的研究、使用GAN生成三维模型的研究等。