Portrait3D: 3D Head Generation from Single In-the-wild Portrait Image

虽然最近的一些工作在一次性生成3D普通物体方面取得了巨大成功，但从单个图像生成高质量、高保真度的3D头部仍然是一个巨大的挑战。以前用于生成3D头部的基于文本的方法受到文本描述的限制，基于图像的方法则难以产生高质量的头部几何形状。为了解决这个具有挑战性的问题，我们提出了一个新的框架Portrait3D，可以生成高质量的3D头部并保留其身份信息。我们的工作将肖像图像的身份信息融入到三个部分中：1）几何初始化，2）几何雕刻和3）纹理生成阶段。给定一个参考肖像图像，我们首先将身份特征与文本特征对齐，实现ID-aware指导增强，其中包含代表面部信息的控制信号。然后，我们使用canny映射、肖像图像的ID特征和预训练的文本到正常/深度扩散模型来生成ID-aware几何监督，使用3D-GAN反演来生成ID-aware几何初始化。此外，由于能够将身份信息注入到3D头部生成中，我们使用ID-aware指导来计算几何雕刻的ID-aware分数蒸馏（ISD）。对于纹理生成，我们采用ID一致纹理修补和细化，逐步扩展视图进行纹理修补，以获得初始化UV纹理映射。然后，我们使用ID-aware指导为嘈杂的多视图图像提供图像级监督，以获得精细的纹理映射。广泛的实验表明，我们可以从单个野外肖像图像中生成具有准确几何和纹理的高质量3D头部。项目页面位于https://jinkun-hao.github.io/Portrait3D/。

本论文的问题是如何从单张人像照片中生成高质量、高保真度的3D头像，以及如何保留头像的身份信息。

本文提出了一种新的框架，Portrait3D，将身份信息融入到头像生成的三个阶段中：几何初始化、几何雕刻和纹理生成阶段。

论文使用了对齐身份特征和文本特征的ID-aware guidance enhancement，使用canny图、ID特征和预训练的文本到法线/深度扩散模型来生成ID-aware几何监督，使用ID-aware guidance计算ID-aware Score Distillation（ISD）进行几何雕刻，采用ID Consistent Texture Inpainting and Refinement进行纹理生成，实验结果表明能够从单张人像照片中生成高质量、高保真度的3D头像。

与本文相关的研究包括：One-shot 3D common object generation，以及之前的基于文本和基于图像的3D头像生成方法。