Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video

本文介绍了Surfel-based Gaussian Inverse Avatar (SGIA)方法，用于从单目视频中高效准确地重建可重新照明的动态服装人体化身，这对于娱乐产业至关重要。SGIA方法通过全面建模物理基础渲染（PBR）属性来推进以前的高斯化身方法，允许在不同照明条件下将化身操纵成新的姿势。具体来说，我们的方法集成了预积分和基于图像的照明，用于快速光线计算，超越了现有的隐式技术。为了解决与材料照明分离和准确几何重建相关的挑战，我们提出了一种创新的遮挡近似策略和逐步训练方法。大量实验表明，SGIA不仅实现了高度准确的物理属性，而且显著增强了动态人体化身的逼真重新照明，提供了重要的速度优势。我们在项目页面上展示了更多结果：\href{https://GS-IA.github.io}{https://GS-IA.github.io}。

论文旨在提出一种有效的方法，用于从单目视频中重建可重新照明的动态衣着人物头像，以满足娱乐产业的需求。

Surfel-based Gaussian Inverse Avatar (SGIA)方法通过综合建模物理渲染（PBR）属性，为衣着人物头像提供高效的训练和渲染，使得在不同光照条件下将头像转化为新的姿势成为可能。

论文提出了一种创新的遮挡近似策略和渐进式训练方法，以解决材料照明分离和准确几何重建等方面的挑战。实验结果表明，SGIA不仅实现了高度准确的物理属性，还显著增强了动态人物头像的逼真重新照明，提供了显著的速度优势。论文还提供了项目页面，展示了更多的结果。

最近的相关研究包括："Deep Video-Based Performance Synthesis"和"DeepCap: Monocular Human Performance Capture Using Weak Supervision"。