PSHuman: Photorealistic Single-view Human Reconstruction using Cross-Scale Diffusion

详细逼真的3D人体建模对于各种应用至关重要，并已取得巨大进展。然而，由于问题的不适定性和复杂的服装拓扑结构以及自遮挡，从单目RGB图像进行全身重建仍然具有挑战性。在本文中，我们提出了PSHuman，一种新颖的框架，利用多视角扩散模型的先验明确重建人体网格。发现直接将多视角扩散应用于单视角人体图像会导致严重的几何扭曲，特别是在生成的面部上。为了解决这个问题，我们提出了一种跨尺度扩散，它建模了全局全身形状和局部面部特征的联合概率分布，实现了详细和保留身份的新视图生成，而没有任何几何扭曲。此外，为了增强不同人体姿势的交叉视图身体形状的一致性，我们将生成模型条件化为参数化模型，例如SMPL-X，它提供了身体先验，并防止与人体解剖不一致的不自然视图。利用生成的多视角正常和彩色图像，我们提出了SMPLX初始化的显式人体雕刻，以有效地恢复逼真的纹理人体网格。对CAPE和THuman2.1数据集的广泛实验结果和定量评估证明了PSHuman在几何细节、纹理保真度和泛化能力方面的优越性。

本文旨在解决从单视角RGB图像中重建完整身体模型的问题。由于问题的不适定性和服装拓扑结构的自遮挡，全身重建仍然具有挑战性。

本文提出了PSHuman框架，利用来自多视角扩散模型的先验知识来显式重建人体网格。通过跨尺度扩散来建模全局全身形状和局部面部特征的联合概率分布，从而实现了详细和保留身份的新视图生成，同时不会出现几何畸变。

本文的亮点包括：使用SMPL-X等参数模型提供身体先验知识，增强跨视角身体形状一致性；利用生成的多视角正常和彩色图像，实现了SMPLX初始化的显式人体刻画，高效地恢复了逼真的纹理人体网格；在CAPE和THuman2.1数据集上的实验结果和定量评估表明，PSHuman在几何细节、纹理保真度和泛化能力方面优于其他方法。

最近的相关研究包括：SMPLify-X：人体姿态、形状和表面拟合；MonoPerfCap：单目人体性能捕获；AvatarNet：多视角3D人体重建。