GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering

我们研究了基于物理的逆向渲染问题，使用3D高斯点绘（3DGS）表示。尽管最近的3DGS方法在新视角合成（NVS）方面取得了显著成果，但准确捕捉高保真几何、物理可解释的材料和光照仍然具有挑战性，因为这需要精确的几何建模以提供准确的表面法线，并且需要基于物理的渲染（PBR）技术以确保正确的材料和光照分离。以往的3DGS方法依赖于近似表面法线，但在处理噪声局部几何时常常遇到困难，导致法线估计不准确和材料-光照分解效果不佳。在本文中，我们引入了一种新的混合表示方法——GeoSplatting，该方法通过显式的几何引导和可微分的PBR方程来增强3DGS。具体而言，我们将等值面和3DGS结合起来，首先从标量场中提取等值面网格，然后将其转换为3DGS点，并以完全可微分的方式为其制定PBR方程。在GeoSplatting中，3DGS基于网格几何，能够实现精确的表面法线建模，从而便于使用PBR框架进行材料分解。这种方法不仅保持了3DGS在NVS中的效率和质量，还确保了等值面提供的准确几何信息。广泛的跨数据集评估表明，GeoSplatting在定量和定性上均优于现有方法。

该论文试图解决在基于物理的逆向渲染中使用3D高斯点云表示（3DGS）时，如何准确捕捉高保真几何结构、可物理解释的材质和光照的问题。这是一个在现有3DGS方法中尚未完全解决的问题。

论文的关键思路是引入GeoSplatting，一种混合表示方法，通过将3DGS与显式几何引导和可微分物理渲染（PBR）方程相结合，来提高几何精度和材料-光照分解的准确性。具体来说，先从标量场中提取等值面网格，然后将其转换为3DGS点，并以完全可微分的方式制定PBR方程。这一方法使3DGS能够基于网格几何，从而实现精确的表面法线建模。

论文通过多个数据集的综合评估展示了GeoSplatting的优势，不仅在新型视图合成（NVS）的质量和效率上保持了3DGS的优点，还在几何精度方面显著提升。此外，论文还提供了详细的实验设计和开源代码，为后续研究提供了坚实的基础。未来的研究可以进一步探索更复杂的场景和更精细的材质建模。

近年来，相关领域的研究包括：1.《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》；2.《Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》；3.《Differentiable Surface Triangulation for Explicit Geometry Reconstruction》。这些研究都在尝试通过不同的方法提高3D场景的表示和渲染质量。