Animatable Gaussians: Learning Pose-dependent Gaussian Maps for High-fidelity Human Avatar Modeling

本文讨论了从RGB视频中建模可动人形化身的问题。近期的工作通常采用基于多层感知器的神经辐射场（NeRF）来表示3D人体，但对于纯MLP来说，回归姿势相关的服装细节仍然很困难。为此，我们引入了Animatable Gaussians，这是一种新的化身表示方法，利用强大的2D CNN和3D高斯喷洒来创建高保真度的化身。为了将3D高斯与可动化身相关联，我们从输入视频中学习一个参数模板，然后在前后两个标准高斯图上对模板进行参数化，其中每个像素表示一个3D高斯。所学模板适应于穿着宽松服装的建模，例如裙子等。这种模板引导的2D参数化使我们能够使用基于StyleGAN的强大CNN来学习姿势相关的高斯图，以建模详细的动态外观。此外，我们引入了一种姿势投影策略，以更好地推广给出新的姿势。总的来说，我们的方法可以创建具有动态、逼真和广义外观的栩栩如生的化身。实验表明，我们的方法优于其他最先进的方法。 代码：https://github.com/lizhe00/AnimatableGaussians

该论文旨在解决从RGB视频中建模可动画人物头像的问题，特别是难以为纯MLP提供姿态依赖的服装细节。

该论文提出了Animatable Gaussians，这是一种新的头像表示方法，利用强大的2D CNN和3D高斯喷洒来创建高保真头像。

该论文的亮点包括：使用学习的参数模板和2D参数化方法，为可动画头像关联3D高斯；使用StyleGAN-based CNN学习姿态相关的高斯地图，以建模详细的动态外观；引入姿势投影策略以实现更好的泛化性能；实验结果表明，该方法优于其他最先进的方法。此外，该论文提供了开源代码。

在这个领域中，最近的相关研究包括：NeRF，MLP-based neural radiance fields，以及其他一些关于3D头像建模的论文。