ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering

解决问题：本论文旨在解决在恶劣天气下，如雾气等情况下图像质量严重下降的问题，提出了一种基于逆向神经渲染的方法。这是一个新问题，现有的去雾方法往往只能处理单张图像，且需要大量的训练数据。

关键思路：本文提出了一种名为ScatterNeRF的神经渲染方法，能够适当地渲染雾气场景，并从参与介质中分解出无雾的背景。该方法不需要大量的训练数据，而是基于多视角场景本身进行优化。具体来说，论文提出了一种散射体积和场景对象的分离表示，并使用物理启发式损失来学习场景重建。

其他亮点：论文使用了多视角In-the-Wild数据和大规模雾室控制拍摄来验证其方法。该方法的亮点在于其解决了数据瓶颈问题，而且能够适应不同的场景。该研究值得进一步深入研究，特别是在多模态场景下的应用。

关于作者：本文的主要作者包括Andrea Ramazzina、Mario Bijelic、Stefanie Walz、Alessandro Sanvito、Dominik Scheuble和Felix Heide。他们分别来自瑞士苏黎世联邦理工学院和德国斯图加特大学。他们之前的代表作包括：“Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks”和“Learning to Infer Graphics Programs from Hand-Drawn Images”。

相关研究：近期其他相关的研究包括：“Single Image Dehazing via Joint Estimation of Transmittance Map and Atmospheric Light with CNNs”（作者：Kaiming He等，机构：Facebook AI Research）和“Foggy Scene Understanding with Synthetic Data”（作者：Xinlong Wang等，机构：The University of Hong Kong）。

论文摘要：本文介绍了一种名为ScatterNeRF的神经渲染方法，能够适当地渲染雾天场景，并从参与介质中分解出无雾背景，不需要大量的训练数据，而是通过对多视角场景本身进行优化。本方法提出了一个分离表示散射体积和场景对象的方法，并通过物理启发的损失函数学习场景重建。作者通过捕捉多视角的野外数据和在大型雾室中进行的受控捕捉来验证了该方法。在恶劣天气条件下进行视觉任务是非常具有挑战性的，因为散射和衰减会严重降低图像质量。本文介绍的方法可以帮助自动驾驶车辆、无人机和机器人等在恶劣天气条件下进行任务。现有的去雾方法大多依赖于单张图像作为输入，往往难以从合成的全监督训练方法中推广，也难以从未配对的真实世界数据集中生成高保真度的结果。因此，本文采用了一种反渲染方法来重建场景内容，以解决数据瓶颈问题。

内容中包含的图片若涉及版权问题，请及时与我们联系删除