GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization

本文介绍了一种名为GIR的三维高斯反渲染方法，用于可重构场景分解。与现有的利用离散网格或神经隐式场进行反渲染的方法相比，我们的方法利用三维高斯函数从多视图图像中估计物体的材料属性、照明和几何形状。我们的研究受到证据的启发，表明在性能、多功能性和效率方面，三维高斯函数比神经场更有前途。在本文中，我们的目标是回答这个问题：“如何应用三维高斯函数来提高反渲染的性能？”为了解决基于离散和常常不均匀分布的三维高斯函数表示来估计法线的复杂性，我们提出了一种有效的自正则化方法，可以在不需要额外监督的情况下促进表面法线的建模。为了重构间接照明，我们提出了一种模拟光线追踪的方法。广泛的实验表明，我们提出的GIR方法在反渲染的多个任务上，在各种广泛使用的数据集上表现优异。这证明了它的功效和广泛适用性，并突显了它作为重构和重照的有影响力的工具的潜力。项目页面：https://3dgir.github.io

本论文旨在通过3D高斯逆渲染方法来解决可重构场景分解的问题。相比现有的离散网格或神经隐式场逆渲染方法，该方法利用3D高斯来估计物体的材料属性、照明和几何信息。

该论文的关键思路是使用3D高斯来提高逆渲染的性能。作者提出了一种有效的自正则化方法来模拟表面法线，避免了额外的监督。此外，作者还提出了一种模拟光线追踪的方法来重建间接照明。

该论文的亮点包括：使用3D高斯方法来提高逆渲染的性能；提出了一种有效的自正则化方法来模拟表面法线；提出了一种模拟光线追踪的方法来重建间接照明。作者在多个数据集上进行了广泛的实验，证明了该方法的优越性和广泛适用性。该论文的项目页面提供了代码和数据集。

在这个领域中，最近的相关研究包括：NeRF，PIFu，IM-NET等。