ThermoNeRF: Multimodal Neural Radiance Fields for Thermal Novel View Synthesis

热场景重建展现了在建筑能源消耗分析和非破坏性测试等广泛领域的应用潜力。然而，现有方法通常需要密集的场景测量，并且经常依赖于RGB图像进行3D几何重建，热信息是在重建后进行投影的。这种两步策略是由于热图像缺乏纹理而采用的，可能会导致重建对象的几何和温度与实际场景的几何和温度存在差异。为了解决这个挑战，我们提出了一种基于神经辐射场的新型多模态方法ThermoNeRF，能够联合渲染场景的新RGB和热视图。为了克服热图像缺乏纹理的问题，我们使用成对的RGB和热图像来学习场景密度，而不同的网络则估计颜色和温度信息。此外，我们引入了一个新的数据集ThermoScenes，以缓解可用的RGB+热数据集的缺乏，用于场景重建。实验结果验证了ThermoNeRF实现了准确的热图像合成，平均平均绝对误差为1.5°C，相比于使用最先进的NeRF方法Nerfacto和连接的RGB+热数据，提高了50%以上。

该论文旨在解决热景重建中缺乏纹理信息的问题，提出了一种基于神经辐射场的多模态方法ThermoNeRF，可以联合渲染RGB和热图像。

论文使用配对的RGB和热图像学习场景密度，同时使用不同的网络估计颜色和温度信息，以解决热图像中缺乏纹理信息的问题。此外，论文还提出了一个新的数据集ThermoScenes。

论文的实验结果显示，ThermoNeRF可以准确地合成热图像，平均绝对误差为1.5°C，相比于使用RGB+热图像数据的Nerfacto，提高了50%以上。此外，论文还开源了代码和数据集。

最近在这个领域中的相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Multi-view 3D Reconstruction of Objects with Arbitrary Shape and Texture》等。