Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos

在增强现实/虚拟现实应用中，从普通智能手机视频中创建可控的三维人像非常有价值。最近，三维高斯光斑（3DGS）技术的发展已经提高了渲染质量和训练效率。然而，从单视角捕捉中准确地建模和分离头部运动和面部表情以实现高质量渲染仍然是一个挑战。本文介绍了Rig3DGS来解决这个问题。我们使用一组三维高斯函数在规范化空间中表示整个场景，包括动态主体。使用一组控制信号，例如头部姿势和表情，我们通过学习变形将其转换到三维空间中，以生成所需的渲染。我们的关键创新是一个经过精心设计的变形方法，它由从三维可塑模型中得出的可学习先验指导。这种方法在训练效率和控制面部表情、头部位置和视角合成方面非常有效。我们通过广泛的定量和定性实验展示了我们学习到的变形的有效性。该项目页面可在http://shahrukhathar.github.io/2024/02/05/Rig3DGS.html找到。

论文旨在解决如何从单一视角捕捉的视频中准确地建模和分离头部运动和面部表情，以实现高质量的渲染。

论文提出了Rig3DGS来解决这个问题。使用一组控制信号，如头部姿势和表情，将整个场景（包括动态主体）表示为一组三维高斯函数，然后利用学习的变形将它们转换到三维空间中，以生成所需的渲染。关键创新是一个经过精心设计的变形方法，它受到从三维可变模型中导出的可学习先验的指导。

论文通过广泛的定量和定性实验展示了学习变形的有效性。实验设计了哪些值得关注的地方？使用了哪些数据集？论文提供了开源代码。

最近在这个领域中，还有一些相关的研究，如《Deep Video Portraits》和《Neural 3D Mesh Renderer》等。