SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization

从图像中进行三维表面重建对于许多应用至关重要。最近，神经辐射场（NeRFs）作为一种有前途的三维建模框架出现了。然而，NeRFs需要精确的相机姿态作为输入，而现有方法难以处理显著嘈杂的姿态估计（即，异常值），这在实际场景中很常见。为了解决这个问题，我们提出了一种新颖的方法，利用场景图优化辐射场，以减轻异常姿态的影响。我们的方法包括基于场景图的自适应内点-外点置信度估计方案，强调与邻域兼容性高的图像和渲染质量一致性。我们还引入了一种有效的交并比（IoU）损失来优化相机姿态和表面几何，以及一种粗到细的策略来促进训练。此外，我们提出了一个包含典型异常姿态的新数据集，以进行详细评估。各种数据集上的实验结果一致表明，我们的方法比现有方法更加有效和优越，展示了它在处理异常值和产生高质量三维重建方面的鲁棒性。我们的代码和数据可在以下网址获取：\url{https://github.com/Iris-cyy/SG-NeRF}。

本文旨在解决NeRFs在处理嘈杂的相机姿态估计（即离群值）时的困难，提出了一种基于场景图优化辐射场的方法。

本文的关键思路是利用场景图进行自适应的内点-外点置信度估计，并引入IoU损失函数进行相机姿态和表面几何的优化，同时采用粗到细的策略进行训练。

本文提出的方法在处理离群值时表现出鲁棒性，能够产生高质量的3D重建。作者还提出了一个包含典型离群值的新数据集，并提供了开源代码和数据。实验结果表明，该方法比现有方法更有效和优越。

近期的相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis》等。