HumanLiff: Layer-wise 3D Human Generation with Diffusion Model

解决问题：该论文的目标是提出一种新的方法，实现逐层生成3D人体模型，包括人体和各种衣服，以更好地模拟真实情况。该方法在当前的3D人体生成领域属于新的探索。

关键思路：该论文提出了一种名为HumanLiff的逐层3D人体生成模型，该模型首先生成最少衣物的人体模型，并将其表示为三平面特征，然后逐层生成衣服。这种3D人体生成方式是基于扩散模型的条件生成，通过三平面位移操作和分层融合技术，实现了对3D人体模型的更精细控制。相比于现有的研究，HumanLiff更好地考虑了衣服逐层覆盖的情况，从而生成更真实的3D人体模型。

其他亮点：该论文在SynBody和TightCap两个数据集上进行了广泛的实验，证明了HumanLiff在逐层3D人体生成方面的优越性。此外，作者还开源了代码，方便其他研究者使用和参考。这项工作为逐层3D人体生成领域提供了新的思路和方法，值得进一步研究。

关于作者：该论文的主要作者包括Shoukang Hu、Fangzhou Hong、Tao Hu、Liang Pan、Haiyi Mei、Weiye Xiao、Lei Yang和Ziwei Liu。他们来自香港中文大学、北京大学、南京大学和腾讯公司等机构。在之前的代表作中，他们涉及到计算机视觉、机器学习、人工智能等领域的研究，例如《Progressive Pose Attention Transfer for Person Image Generation》、《Deep High-Resolution Representation Learning for Human Pose Estimation》等。

相关研究：近期其他相关的研究包括《Neural Human Video Rendering with Appearance Flow》（作者：Jiahui Yu等，机构：麻省理工学院）、《PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization》（作者：Shunsuke Saito等，机构：斯坦福大学）等。这些研究都集中在3D人体生成和渲染方面，与本文的研究内容有一定的关联。

论文摘要：本文介绍了一种新的3D人体生成模型——HumanLiff，它是第一个考虑人体及其衣物分层结构的3D生成模型，并采用了统一的扩散过程。HumanLiff首先在一个规范空间中生成最小衣物的人体，采用三平面特征表示，然后逐层生成衣物。这样，3D人体生成被形式化为一系列基于扩散的3D条件生成。为了重建更细粒度的3D人体，作者提出了三平面位移操作，将每个三平面分成三个子平面并移位以实现特征网格细分。为了进一步增强3D生成的可控性，HumanLiff采用分层融合方法，将三平面特征和3D分层条件进行层级融合，以便于3D扩散模型的学习。在两个分层3D人体数据集SynBody（合成）和TightCap（真实）上的广泛实验验证了HumanLiff在分层3D人体生成方面显著优于现有的最先进方法。该模型的代码将在https://skhu101.github.io/HumanLiff上公开发布。

内容中包含的图片若涉及版权问题，请及时与我们联系删除