GS-ROR: 3D Gaussian Splatting for Reflective Object Relighting via SDF Priors

3D高斯飞溅（3DGS）因其详细的表现能力和高效的渲染速度，在新视角合成方面表现出强大的能力。不幸的是，使用3DGS创建可重照3D资产仍然存在问题，特别是对于反射物体，由于其不连续的表示形式，会在几何约束方面带来困难。受以前的工作启发，符号距离场（SDF）可以作为几何正则化的有效方法。然而，高斯和SDF之间的直接结合会显著减慢训练速度。为此，我们提出了GS-ROR，它使用SDF先验来辅助3DGS进行反射物体照明重构。我们方法的核心是在延迟高斯和SDF之间的深度和法线之间进行相互监督，从而避免了昂贵的SDF体积渲染。由于这种相互监督，学习到的延迟高斯受到了很好的约束，时间成本最小。由于高斯是以延迟着色模式渲染的，而混合后的高斯是平滑的，单个高斯仍然可能是离群值，导致浮动伪影。因此，我们进一步引入了一种SDF感知的修剪策略，以消除远离SDF定义的表面的高斯离群值，避免了浮动问题。因此，我们的方法在照明重构质量方面优于现有的基于高斯的反渲染方法。我们的方法与NeRF方法相比，在最多25％的训练时间内展现出有竞争力的照明重构质量，并且在RTX4090上可以以200帧/秒的速度进行渲染。

论文旨在解决使用3D高斯飞溅（3DGS）创建可重光3D资产的问题，特别是对于反射对象，由于其不连续的表示，几何约束方面存在困难。

论文提出了一种名为GS-ROR的方法，通过SDF先验帮助3DGS进行反射对象的再照明，其核心是通过延迟高斯和SDF之间的深度和法线的相互监督来避免昂贵的体积渲染，从而使学习到的延迟高斯得到很好的约束。

论文使用了SDF-aware修剪策略来消除高斯异常值，从而避免浮动问题，并在重照质量方面优于现有的基于高斯的逆渲染方法。实验表明，GS-ROR可以在RTX4090上以每秒200多帧的速度进行渲染。论文还提到了一些值得深入研究的点，如如何在更复杂的场景中使用GS-ROR。

在最近的相关研究中，还有一些使用SDF进行几何约束的方法，如NeRF和PixelNeRF。