Deformable 3D Gaussian Splatting for Animatable Human Avatars

最近神经辐射场技术的进展使得在动态场景下合成逼真的图像成为可能，这种技术可以应用于包含人物动画的场景。然而，常用的隐式骨架用于建立精确的模型需要很多的输入视角和额外的注释，例如人物掩模、UV贴图和深度图。在这项工作中，我们提出了ParDy-Human（参数化动态人物角色），这是一种完全显式的方法，可以从单个单目序列中构建数字角色扮演。ParDy-Human将参数驱动的动态引入到3D高斯喷溅中，其中3D高斯被人体姿势模型变形以动画化角色。我们的方法由两部分组成：第一个模块根据SMPL顶点变形来变形规范化的3D高斯，第二个模块则进一步采用其设计的关节编码并预测每个高斯变形，以处理超出SMPL顶点变形的动态。然后，通过光栅化器合成图像。ParDy-Human构成了一个逼真的动态人物角色的显式模型，它需要更少的训练视角和图像。我们的角色学习不需要额外的掩模注释，并且可以在不同的背景下进行训练，即使在消费者硬件上也可以高效地推断全分辨率图像。我们提供实验证据表明，ParDy-Human在ZJU-MoCap和THUman4.0数据集上在数量和视觉上均优于现有最先进的方法。

本论文旨在提出一种能够从单一单目序列构建数字化人物的完全显式方法，以解决建立准确模型所需的输入视图和注释数量的问题。

ParDy-Human是一种全显式模型，通过将参数驱动动力学引入3D高斯点描来实现数字化人物的动态效果。该方法由两个模块组成，第一个模块根据SMPL顶点对规范化的3D高斯点描进行变形，第二个模块进一步采用其设计的关节编码，并预测每个高斯点描的变形来处理超出SMPL顶点变形的动态效果。

该方法不需要额外的注释，可以在变化的背景下进行训练，并且即使在消费级硬件上也可以高效地推断全分辨率图像。实验结果表明，该方法在ZJU-MoCap和THUman4.0数据集上在定量和视觉上均优于现有的方法。

最近在这个领域中，还有一些相关的研究，如NeRF、D-NeRF和NeRF--。