RustNeRF: Robust Neural Radiance Field with Low-Quality Images

最近关于神经辐射场（NeRF）的研究利用多视角3D一致性，在3D场景建模和高保真度新视角合成方面取得了令人印象深刻的结果。然而，这些方法存在一些限制。首先，现有方法假设有足够高质量的图像可用于训练NeRF模型，忽略了现实世界中图像降解的情况。其次，以前的方法在训练集中由于未建模的不一致性而存在歧义。在本文中，我们提出了RustNeRF，用于现实世界中的高质量NeRF。为了提高NeRF在现实世界输入下的鲁棒性，我们训练了一个3D感知的预处理网络，该网络结合了现实世界的降解建模。我们提出了一种新颖的隐式多视角指导方法，以解决图像降解和恢复过程中的信息丢失。广泛的实验表明，与现有方法相比，RustNeRF在现实世界降解情况下具有优势。代码将会公开发布。

本论文旨在解决Neural Radiance Fields（NeRF）模型在实际应用中的局限性，包括缺乏高质量图像用于训练和无法处理不同视角之间的一致性问题。

论文提出了一种名为RustNeRF的NeRF模型，通过训练一个3D感知的预处理网络来提高模型对真实世界输入的鲁棒性，并提出了一种新的隐式多视角引导方法来解决图像降噪和恢复过程中信息损失的问题。

论文的亮点包括使用真实世界的降噪模型来提高模型的鲁棒性，提出了一种新的多视角引导方法，实验结果表明RustNeRF在处理真实世界数据时优于现有方法。论文将发布代码。

最近在这个领域的相关研究包括NeRF、多视角3D重建、图像去噪等。