iHuman: Instant Animatable Digital Humans From Monocular Videos

个性化的3D头像需要一个可动的数字人形的表现形式。从单目视频中实时创建这样的数字人形可以为广泛的用户群和大规模应用提供可扩展性。本文提出了一种快速、简单但有效的方法，用于从单目视频中创建可动的3D数字人形。我们的方法利用高斯样条的效率来建模3D几何和外观。然而，我们观察到，简单地优化高斯样条会导致不准确的几何形状，从而导致动画效果不佳。本文通过高斯样条实现了准确的3D网格建模，以实现可动数字化的需求。这是通过开发一个新的流程来实现的，该流程从三个关键方面受益：（a）表面位移和颜色球谐的隐式建模；（b）将3D高斯绑定到身体模板的相应三角形面；（c）一种新颖的技术来渲染法向量，然后进行辅助监督。我们在三个不同的基准数据集上进行了详尽的实验，证明了我们方法在有限的时间设置下的最先进结果。事实上，我们的方法在训练时间方面比其最接近的竞争对手快一个数量级。同时，在姿势变化下，我们实现了优越的渲染和3D重建性能。

从单目视频中创建可动画的3D数字人需要解决什么问题？这是否是一个新问题？

使用高斯扩散来建模3D几何和外观，并通过三个关键方面实现准确的3D网格建模，从而实现可动画的数字化。这个思路相比当前领域的研究有何新意？

论文提出了一种快速、简单、有效的方法来从单目视频中创建可动画的3D数字人。通过使用高斯扩散来建模3D几何和外观，结合三个关键方面实现准确的3D网格建模，该方法在有限时间内实现了优秀的渲染和3D重建性能。实验使用了三个不同的基准数据集，并且比最接近的竞争者快一个数量级（在训练时间方面）。

最近的相关研究包括：《End-to-end Recovery of Human Shape and Pose》、《Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop》等。