Expressive Whole-Body 3D Gaussian Avatar

面部表情和手势是表达情感和与世界互动所必需的。然而，从随意捕捉的视频中建模的大多数3D人类化身仅支持身体动作而没有面部表情和手势。在这项工作中，我们提出了ExAvatar，一种从短单目视频中学习的具有表现力的全身3D人类化身。我们将ExAvatar设计为整体参数网格模型（SMPL-X）和3D高斯平面（3DGS）的组合。主要挑战是1）视频中面部表情和姿势的有限多样性和2）缺乏3D观察，例如3D扫描和RGBD图像。视频中的有限多样性使得具有新颖面部表情和姿势的动画变得不容易。此外，缺乏3D观察可能会导致在视频中未观察到的人体部位存在显着的歧义，这可能会在新的动作下产生明显的伪影。为了解决这些问题，我们引入了网格和3D高斯的混合表示。我们的混合表示将每个3D高斯视为表面上的一个顶点，并在它们之间使用预定义的连接信息（即三角形面）遵循SMPL-X的网格拓扑结构。这使得我们的ExAvatar可以通过SMPL-X的面部表情空间驱动具有新颖面部表情。此外，通过使用基于连接的正则化器，我们显着减少了新颖面部表情和姿势中的伪影。

本文旨在解决从短视频中学习全身三维人物形象的问题，包括面部表情和手势等细节。

本文提出了一种全新的人物形象学习方法，将SMPL-X的整体参数化网格模型和3D高斯点云结合起来，实现了面部表情和手势的自然表达。

本文的亮点包括：使用了全新的学习方法，将整体参数化网格模型和3D高斯点云结合；提出了一种新的人物形象表示方法，可以自然地表达面部表情和手势；通过使用连接性约束，大大减少了新表情和新动作中的伪影；实验结果表明，该方法可以生成高质量的三维人物形象。

相关研究包括：使用深度学习从二维图像中生成三维人物形象的研究；使用3D扫描数据生成三维人物形象的研究。