Interactive Rendering of Relightable and Animatable Gaussian Avatars

本文讨论了从多视角或单目视频中创建可重新照明和可动画化的头像，这对数字人类创建和虚拟现实应用来说是一项具有挑战性的任务。以往的方法依赖于神经辐射场或光线追踪，导致训练和渲染过程缓慢。本文提出了一种简单而高效的方法，利用高斯点插值将人体材料和光照从稀疏视角或单目头像视频中分离出来，从而使头像能够在交互帧速率（6.9 fps）下同时呈现新视角、姿势和光照。具体而言，我们首先使用有符号距离函数获取规范化的人体网格，并为每个网格顶点分配属性。然后，规范空间中的高斯点从附近的身体网格顶点插值获取属性。我们随后使用正向蒙皮将高斯点变形到姿态空间，并将可学习的环境光与高斯属性组合进行着色计算。为了实现快速的阴影建模，我们从密集视角光栅化姿态身体网格以获得可见性。我们的方法不仅简单，而且足够快，可以在环境光变化下交互式渲染头像动画。实验表明，与以往的方法相比，我们的方法可以在合成和真实数据集上以更快的速度呈现更高质量的结果。

本论文旨在解决数字人物创建和虚拟现实应用中，从多视角或单目视频创建可重新照明和可动画化的人物形象的挑战性问题。

该论文提出了一种简单高效的方法，通过使用高斯样条将身体材料和照明与稀疏视角或单目人物视频分离，使得人物形象可以在新的视角、姿势和照明下同时渲染，并且可以在交互帧速率下实现快速渲染。

该方法不仅简单，而且快速，能够允许在环境光变化下交互式渲染人物动画。实验结果表明，相比之前的方法，该方法可以在合成和真实数据集上以更快的速度呈现更高质量的结果。

最近的相关研究包括神经辐射场或光线追踪等方法，但这些方法训练和渲染速度较慢。