HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs

本文介绍了一种新的方法，名为分层几何、语义和光度引导的神经辐射场（HG3-NeRF），可以解决神经辐射场（NeRF）在面对稀疏视角输入时性能下降的问题，并增强不同视角之间的几何、语义内容和外观的一致性。我们提出了分层几何引导（HGG）来将运动结构（SfM）的稀疏深度先验附加到场景表示中。与直接深度监督不同，HGG从局部到全局几何区域采样体积点，减轻了深度先验固有偏差造成的不对齐。此外，我们从不同分辨率图像中观察到的语义一致性变化中汲取灵感，提出了分层语义引导（HSG）来学习粗到细的语义内容，对应于粗到细的场景表示。实验结果表明，HG3-NeRF可以在不同的标准基准上优于其他最先进的方法，并且对于稀疏视角输入可以实现高保真合成结果。

本文旨在解决NeRF在面对稀疏视角输入时性能下降的问题，并提高几何、语义和外观的一致性。

本文提出了一种新的方法，即HG3-NeRF，它通过引入分层几何、语义和光度引导来解决NeRF的局限性。其中，分层几何引导（HGG）将稀疏深度先验信息引入场景表示，而分层语义引导（HSG）则学习粗到细的语义内容，从而对应于粗到细的场景表示。

本文的实验结果表明，HG3-NeRF在不同的标准基准测试中都能优于其他最先进的方法，并且能够为稀疏视角输入实现高保真度的合成结果。此外，本文的HGG和HSG方法都具有较强的鲁棒性和可扩展性，值得进一步研究。

与本文相关的研究包括NeRF及其变体，如PixelNeRF、AtlasNeRF等。此外，还有一些使用深度学习方法进行视角合成的研究，如Neural Point-Based Graphics和DeepVoxels等。