DEGAS: Detailed Expressions on Full-Body Gaussian Avatars

虽然神经渲染在创建逼真、可动画的全身和头像方面取得了显著进展，但将详细的表情融入全身化身中仍然是一个相对未被探索的领域。我们提出了DEGAS，这是一种基于三维高斯点渲染（3DGS）的建模方法，用于带有丰富面部表情的全身化身。我们的方法在给定主体的多视角视频上进行训练，学习一个条件变分自编码器，将身体动作和面部表情作为驱动信号，生成UV布局中的高斯图。为了驱动面部表情，我们提出采用仅在二维肖像图像上训练的表情潜空间，而不是在三维头像上通常使用的3D可塑模型（3DMMs），从而弥合了二维说话面孔和三维化身之间的差距。利用3DGS的渲染能力和表情潜空间的丰富表现力，学习到的化身可以被重现，以产生具有微妙和准确面部表情的逼真渲染图像。对现有数据集和我们新提出的全身说话化身数据集的实验证明了我们方法的有效性。我们还提出了一种基于音频驱动的方法，借助于二维说话面孔，开启了与交互式AI代理的新可能性。

本论文旨在探索如何为全身化身创建丰富的面部表情，通过提出基于3D高斯点描（3DGS）的建模方法DEGAS来解决这个问题。

DEGAS方法通过训练条件变分自编码器，学习从多视角视频中提取人体运动和面部表情的Gaussian图像。为了驱动面部表情，该方法采用仅基于2D肖像图像训练的表情潜在空间，将2D和3D之间的差距缩小。利用3DGS的渲染能力和表情潜在空间的丰富表现力，学习到的化身可以被再现为具有微妙准确面部表情的照片级渲染图像。

该论文提出了一种新的方法来为全身化身创建丰富的面部表情。DEGAS方法在现有数据集和新提出的全身说话化身数据集上进行了实验，证明了其有效性。此外，论文还提出了基于音频的扩展方法，并使用2D肖像图像，为交互式AI代理开辟了新的可能性。

近期的相关研究包括：《Deep Video Portraits》、《Neural 3D Mesh Renderer》、《Expressive Body Capture: 3D Hands, Face, and Body from a Single Image》等。