Single-Image 3D Human Digitization with Shape-Guided Diffusion

我们提出了一种方法，可以从单个输入图像生成一个具有一致、高分辨率外观的人物360度视图。NeRF及其变体通常需要来自不同视角的视频或图像。大多数采用单目输入的现有方法要么依赖于地面真实的3D扫描进行监督，要么缺乏3D一致性。虽然最近的3D生成模型展示了3D一致的人体数字化的前景，但这些方法并不适用于多样的服装外观，并且结果缺乏照片般的逼真感。与现有工作不同，我们利用预先训练的高容量2D扩散模型作为着装人类的外观先验。为了实现更好的3D一致性同时保留输入身份，我们通过基于轮廓和表面法线的形状引导扩散来逐步合成输入图像中人物的多个视图。然后，我们通过反向渲染将这些合成的多视图图像融合起来，以获得给定人物的完全纹理化的高分辨率3D网格。实验表明，我们的方法优于先前的方法，并且可以从单个图像中实现对广泛服装的复杂纹理进行照片般逼真的360度综合。

本论文旨在通过单张图像生成一个360度视角下具有高分辨率、一致外观的人物模型。相比现有方法，该论文采用高容量的2D扩散模型作为衣着人物的外观先验，并通过逐步合成多个视角下的人物图像，通过逆渲染获得完全纹理化的高分辨率3D网格。

该论文的关键思路是采用高容量的2D扩散模型作为衣着人物的外观先验，并通过逐步合成多个视角下的人物图像，通过逆渲染获得完全纹理化的高分辨率3D网格。相比现有方法，该论文的思路更具有3D一致性，并且能够生成复杂纹理的衣着人物。

论文的亮点在于采用高容量的2D扩散模型作为外观先验，通过逐步合成多个视角下的人物图像，并通过逆渲染获得完全纹理化的高分辨率3D网格。实验表明，该方法能够生成复杂纹理的衣着人物，并且在多个数据集上表现出色。此外，论文提供了开源代码，可供进一步研究使用。

最近在这个领域中，还有一些相关的研究，如：Generative Modeling of 3D Multi-Person Poses from Views，Monocular Neural Image Based Rendering with Continuous View Control，DeepCap：Monocular Human Performance Capture Using Weak Supervision等。