StructLDM: Structured Latent Diffusion for 3D Human Generation

最近的3D人体生成模型通过从2D图像中学习3D感知的GAN取得了显著的进展。然而，现有的3D人体生成方法将人类建模为紧凑的1D潜在空间，忽略了人体拓扑的关节结构和语义。本文探索了更具表现力和高维潜在空间的3D人体建模，并提出了StructLDM，一种基于扩散的无条件3D人体生成模型，它是从2D图像中学习的。StructLDM通过三个关键设计解决了由于潜在空间的高维增长而带来的挑战：1）在统计人体模板的密集表面流形上定义的语义结构化潜在空间。2）结构化的3D感知自编码器，将全局潜在空间分解为几个由一组条件结构化局部NeRFs参数化的语义身体部位，这些局部NeRFs锚定在身体模板上，嵌入从2D训练数据中学习到的属性，并可以解码为在不同姿势和服装风格下呈现视图一致的人体。3）用于生成人体外观采样的结构化潜在扩散模型。广泛的实验验证了StructLDM的最先进的生成性能，并展示了结构化潜在空间相对于广泛采用的1D潜在空间的表现力。值得注意的是，StructLDM实现了不同水平的可控3D人体生成和编辑，包括姿势/视角/形状控制，以及包括组合生成、部件感知服装编辑、3D虚拟试穿等高级任务。我们的项目页面在：https://taohuumd.github.io/projects/StructLDM/.

本文旨在探索更具表现力和更高维度的潜在空间，用于3D人体建模，提出了StructLDM，一种基于扩散的无条件3D人体生成模型。该模型解决了高维潜在空间增长所带来的挑战，并考虑了人体拓扑的关节结构和语义，以提高生成效果。

该论文的关键思路是使用语义结构化潜在空间、结构化3D感知自编码器和结构化潜在扩散模型来提高3D人体生成的效果，实现不同层次的可控3D人体生成和编辑。

该模型在实验中表现出了最先进的生成性能，并提供了不同层次的可控3D人体生成和编辑，包括姿势/视角/形状控制、组合生成、部件感知服装编辑、3D虚拟试穿等。使用了2D图像数据集进行训练，提供了开源代码。

最近在这个领域中，还有一些相关的研究。例如，3D人体姿态估计、3D人体重建、3D人体动作捕捉、3D人体生成等。其中，一些相关的论文包括：《Generative Adversarial Networks for 3D Human Pose Estimation from 2D Images》、《3D Human Pose and Shape Estimation from Multi-View Images by Regression》、《3D Human Motion Capture from Monocular Video with Variational Autoencoders》等。