RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models

我们介绍了RodinHD，它可以从肖像图像生成高保真的三维头像。现有的方法无法捕捉复杂的细节，例如发型，而我们在本文中解决了这个问题。我们首先确定了一个被忽视的问题，即在许多头像上顺序拟合三面体时出现的灾难性遗忘问题，这是由于MLP解码器共享方案引起的。为了克服这个问题，我们提出了一种新颖的数据调度策略和权重整合正则化项，这提高了解码器呈现更锐利细节的能力。此外，我们通过计算更精细的分层表示来优化肖像图像的引导效果，这可以捕捉丰富的二维纹理线索，并通过交叉注意力在多个层次上将它们注入到三维扩散模型中。当使用针对三面体进行优化的噪声调度在46K个头像上进行训练时，得到的模型可以生成比以前的方法更好的细节的三维头像，并且可以推广到野外肖像输入。

本论文旨在解决从肖像图像生成高保真度3D头像时出现的细节损失问题，提出了一种新的数据调度策略和权重整合正则化项以及跨注意力的多层次2D纹理特征注入方法。

本文的关键思路是通过提出新的数据调度策略和权重整合正则化项，以及跨注意力的多层次2D纹理特征注入方法来解决顺序拟合三面体时出现的灾难性遗忘问题，并且在训练过程中优化肖像图像的引导作用。

本文的实验结果表明，相比之前的方法，该模型可以生成更好的细节，并且能够推广到野外肖像输入。该论文使用46K个头像进行训练，并使用噪声调度来优化三面体的性能。此外，该论文还提供了开源代码。

在这个领域中，还有一些相关的研究，例如：《Neural Avatars》、《PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization》等。