Semantic Is Enough: Only Semantic Information For NeRF Reconstruction

最近的研究将隐式3D表示与语义信息相结合，例如Semantic-NeRF，证明了NeRF模型在渲染带有语义标签的3D结构方面表现出色。本研究旨在通过仅专注于语义输出并删除RGB输出组件来扩展Semantic Neural Radiance Fields（Semantic-NeRF）模型。我们重新构建了模型及其训练程序，利用模型语义输出与地面实况语义图像之间的交叉熵损失，删除了传统上在原始Semantic-NeRF方法中使用的颜色数据。然后，我们使用原始和修改后的Semantic-NeRF模型进行了一系列相同的实验。我们的主要目标是观察这种修改对Semantic-NeRF的模型性能的影响，重点关注场景理解、物体检测和分割等任务。结果为渲染场景的新方法提供了有价值的见解，并为语义为重点的3D场景理解的进一步研究和开发提供了途径。

论文旨在扩展Semantic-NeRF模型，专注于语义输出并移除RGB输出组件，以提高模型在场景理解、物体检测和分割等任务中的性能。

论文通过重新构建模型和训练过程，利用模型语义输出与地面实况语义图像之间的交叉熵损失来提高模型性能，强调语义渲染的重要性。

论文设计了一系列实验来观察这种改进对模型性能的影响，使用了原始Semantic-NeRF模型和改进后的模型进行对比，提供了有价值的见解和进一步研究的方向。论文还探讨了语义渲染的潜在应用，如在虚拟现实和增强现实中的使用。

最近在这个领域中，还有一些相关研究，如NeRF、PixelNeRF、AtlasNet等。