GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting

本文提出了一种新的服装人体重建方法，称为GaussianBody，基于3D高斯喷洒。与昂贵的基于神经辐射的模型相比，3D高斯喷洒最近在训练时间和渲染质量方面表现出了极佳的性能。然而，将静态3D高斯喷洒模型应用于动态人体重建问题并不容易，因为存在复杂的非刚性变形和丰富的布料细节。为了解决这些挑战，我们的方法考虑了显式的姿势引导变形，将动态高斯分布与规范空间和观察空间相关联，引入了基于物理的先验和规则化的变换，有助于减轻两个空间之间的模糊性。在训练过程中，我们进一步提出了一种姿势细化策略，以更新姿势回归，以补偿不准确的初始估计，并提出了一种分裂和缩放机制，以增强回归点云的密度。实验验证了我们的方法可以实现最先进的逼真的新视角渲染结果，具有高质量的动态服装人体细节，同时还可以进行显式几何重建。

论文旨在提出一种新的基于3D高斯点插值的服装人体重建方法，解决当前动态人体重建中的非刚性变形和丰富的服装细节等问题。

该方法通过显式的姿势引导变形，将动态高斯点在规范空间和观察空间中进行关联，引入基于物理的先验知识来帮助减轻两个空间之间的歧义。在训练过程中，提出了姿态细化策略来更新姿态回归，以补偿初始估计的不准确性，并提出了分裂和缩放机制来增强回归点云的密度。

该方法在动态服装人体的新视角渲染方面具有最先进的照片级真实感和高质量细节，同时具有显式的几何重建。实验使用了多个数据集进行验证，同时开源了代码。

相关研究包括：《Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans》、《PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization》等。