3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting

我们介绍了一种方法，使用三维高斯喷洒（3DGS）从单目视频中创建可动画人形化身。现有的基于神经辐射场（NeRFs）的方法可以实现高质量的新视角/新姿势图像合成，但往往需要数天的训练，并且在推理时间上非常缓慢。最近，社区探索了快速网格结构以有效训练穿着衣服的化身。尽管这些方法在训练时非常快，但几乎无法实现交互式渲染帧速率（约15 FPS）。在本文中，我们使用三维高斯喷洒并学习非刚性变形网络来重建可动画的穿着衣服的人类化身，可以在30分钟内进行训练，并以实时帧速率（50+ FPS）进行渲染。鉴于我们表示的显式性质，我们进一步对高斯均值向量和协方差矩阵进行了尽可能等距规则化，增强了我们的模型对高度关节的未见姿势的泛化能力。实验结果表明，与最先进的方法相比，我们的方法在从单目输入创建可动画化身方面实现了可比甚至更好的性能，同时在训练和推理方面快了400倍和250倍。

本论文旨在使用3D高斯喷洒（3DGS）从单目视频中创建可动画人形化身，解决现有方法在训练时间和推理时间上存在的问题。

使用3D高斯喷洒和学习非刚性变形网络来重建可动画衣着人形化身，训练时间仅需30分钟，推理速度达到实时帧率（50+ FPS）。通过在高斯平均向量和协方差矩阵上引入尽可能等距正则化，增强了模型对高度关节化的未见姿势的泛化能力。

该方法相比当前领域的研究具有更快的训练和推理速度，并且在单目输入的可动画化身创建方面达到了与最先进方法相当甚至更好的性能。实验使用了公开数据集，且开源了代码。

最近的相关研究包括基于神经辐射场（NeRFs）的方法和快速网格结构的方法，如Cloth3D和GRAF。