Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions

Neural Radiance Fields (NeRF)通过从多视角图像中学习场景的隐式体积表示来实现逼真的新视角合成，这些图像忠实地传达了色度信息。然而，传感器噪声会污染低值像素信号，而有损相机图像信号处理器将进一步在极暗情况下移除接近零的强度，从而降低合成性能。现有方法可以从原始图像重建低光场景，但在暗区域恢复纹理和边界细节方面存在困难。此外，它们不适用于依赖显式表示的高速模型。为了解决这些问题，我们提出了Thermal-NeRF，它将热成像和可见光原始图像作为输入，考虑到热相机对照明变化具有鲁棒性，原始图像保留了在暗区域可能存在的任何线索，以同时完成可见光和热成像的合成。此外，我们建立了第一个多视角热成像和可见光数据集（MVTV），以支持多模式NeRF的研究。Thermal-NeRF在详细保留和噪声平滑之间取得了最佳平衡，并提供比以前的工作更好的合成性能。最后，我们证明了两种模式对3D重建互相有益。

论文旨在解决在低光照条件下，使用多模态输入进行高质量的视图合成的问题。

通过使用可见光和热成像相机的原始图像作为输入，提出了一种新的多模态NeRF模型，称为Thermal-NeRF，以同时实现可见光和热成像的视图合成。

论文提出了一个新的多模态NeRF模型，并建立了一个新的多视角可见光和热成像数据集（MVTV），用于支持多模态NeRF的研究。实验结果表明，Thermal-NeRF在保留细节和平滑噪声方面取得了最佳平衡，并且比之前的工作提供了更好的合成性能。

相关研究包括使用原始图像重建低光照场景的方法以及其他NeRF模型的改进，如Pixel-NeRF和SoftPos-NeRF等。