GSDF: 3DGS Meets SDF for Improved Rendering and Reconstruction

在计算机视觉和计算机图形学中，从多视角图像呈现3D场景仍然是一个核心和长期存在的挑战。渲染和重建是两个主要的要求。值得注意的是，目前最先进的渲染质量通常是通过神经体积渲染技术实现的，这依赖于点/基元颜色的聚合，并忽略了底层场景几何形状。神经隐式表面的学习源于神经渲染的成功。当前的工作要么限制密度场的分布，要么限制基元的形状，导致渲染质量下降并在学习的场景表面上出现瑕疵。这些方法的效果受所选择的神经表示的固有限制的限制，这些限制难以捕捉更精细的表面细节，特别是对于更大、更复杂的场景。为了解决这些问题，我们引入了GSDF，这是一种新颖的双分支架构，将灵活高效的3D高斯点插值（3DGS）表示法的优点与神经符号距离场（SDF）相结合。核心思想是利用并增强每个分支的优点，同时通过相互指导和联合监督减轻它们的限制。我们在不同的场景中展示了我们的设计可以释放更准确、更详细的表面重建的潜力，并同时使3DGS渲染具有更符合底层几何形状的结构。

本文旨在解决多视角图像的3D场景重建问题，尤其是在表面细节方面的局限性。

本文提出了一种新型的双分支网络结构GSDF，将高效的三维高斯点阵表示法和神经网络符号距离场相结合，通过相互引导和联合监督来增强每个分支的优点，从而实现更准确、更详细的表面重建。

本文的亮点包括：1. 提出了一种新型的双分支网络结构GSDF，有效地解决了表面细节方面的局限性；2. 在多个场景上进行了实验验证，证明了该方法的有效性；3. 与其他方法相比，该方法具有更高的渲染质量和更准确的场景重建能力。

在这个领域中，最近的相关研究包括：1. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation；2. Neural Volumes: Learning Dynamic Renderable Volumes from Images；3. Occupancy Networks: Learning 3D Reconstruction in Function Space。