A Survey on 3D Human Avatar Modeling -- From Reconstruction to Generation

3D建模一直是计算机视觉和计算机图形学中的重要领域。最近，由于神经表示和生成模型的突破，我们见证了3D建模的快速发展。3D人体建模是许多实际应用的核心，如游戏和动画，因此引起了重视。在过去的几年中，已经介绍了大量关于创建3D人体化身的工作，形成了一个新的丰富的3D人体建模知识库。这些文献的规模使得个人难以跟踪所有的工作。本文旨在从重建和生成的角度全面概述这些新兴的3D人体化身建模技术。首先，我们回顾了代表性的3D人体重建方法，包括基于像素对齐的隐式函数、神经辐射场和3D高斯点插值等方法。然后，我们总结了代表性的3D人体生成方法，特别是那些使用大型语言模型（如CLIP）、扩散模型和各种3D表示的方法，这些方法展示了最先进的性能。最后，我们讨论了现有方法的反思和3D人体化身建模的开放性挑战，为未来的研究提供了启示。

本文旨在综述新兴的3D人物建模技术，包括重建和生成。重建方面，介绍了基于像素对齐的隐式函数、神经辐射场和3D高斯喷洒等方法；生成方面，介绍了使用CLIP、扩散模型和各种3D表示等大型语言模型的代表性方法。论文试图解决的问题是如何创建高质量的3D人物模型，以满足游戏、动画等应用的需求。

本文的关键思路是通过综述重建和生成方面的代表性方法，提供一种全面的3D人物建模技术概述。相比当前领域的研究状况，本文的新意在于介绍了使用大型语言模型的生成方法，并探讨了当前方法存在的问题和未来的研究方向。

本文介绍了重建和生成方面的代表性方法，并对它们进行了分类和比较。在重建方面，基于隐式函数的方法在复杂度和质量方面都有所提高；在生成方面，使用CLIP等大型语言模型的方法在生成质量和多样性方面表现出色。本文还讨论了当前方法存在的问题和未来的研究方向，如如何提高生成质量和多样性，如何使用更多的先验知识等。本文使用了多个数据集，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，如：《DeepCap：生成3D人体动作的深度运动模型》、《Neural Body：3D人体重建和动作预测的统一框架》、《Pixel2Mesh++：多视角3D网格重建的端到端方法》等。