3D Reconstruction and New View Synthesis of Indoor Environments based on a Dual Neural Radiance Field

同时实现室内环境的三维重建和新视角合成具有广泛的应用，但技术上非常具有挑战性。基于隐式神经函数的最先进方法可以实现出色的三维重建结果，但它们在新视角合成方面的性能可能不尽如人意。神经辐射场（NeRF）的令人兴奋的发展已经彻底改变了新视角合成，然而，基于NeRF的模型可能无法重建出干净的几何表面。我们开发了一个双重神经辐射场（Du-NeRF）来同时实现高质量的几何重建和视角渲染。Du-NeRF包含两个几何场，一个是从SDF场导出的，以促进几何重建，另一个是从密度场导出的，以提升新视角合成。Du-NeRF的一个创新特点是将一个与视角无关的组件从密度场中分离出来，并将其用作标签来监督SDF场的学习过程。这减少了形状-辐射的歧义，并使几何和颜色在学习过程中互相受益。大量实验证明，Du-NeRF可以显著提高室内环境的新视角合成和三维重建的性能，特别是在构建包含不符合多视角颜色一致性的精细几何区域方面非常有效。

本论文旨在解决室内环境下的3D重建和新视角合成问题，提出了一种名为Du-NeRF的双重神经辐射场模型，旨在同时实现高质量的几何重建和视角渲染。

Du-NeRF包含两个几何场，一个从SDF场派生出来以促进几何重建，另一个从密度场派生出来以提高新视角合成。Du-NeRF的创新之处在于它从密度场中分离出一个与视角无关的组件，并将其用作标签来监督SDF场的学习过程，从而减少形状-辐射歧义，并使几何和颜色在学习过程中互相受益。

Du-NeRF的实验结果表明，它可以显著提高室内环境下的新视角合成和3D重建的性能，特别是在构建不符合多视角颜色一致性的细几何区域方面非常有效。论文提供了大量的实验结果和数据集，同时也开源了代码。

最近的相关研究包括使用隐式神经函数的最先进方法，以及神经辐射场（NeRF）的发展。