Bilateral Guided Radiance Field Processing

神经辐射场（NeRF）利用多视角一致性在合成新视角合成方面取得了前所未有的性能。当捕获多个输入时，现代相机的图像信号处理（ISP）将独立增强它们，包括曝光调整、色彩校正、局部色调映射等。虽然这些处理极大地提高了图像质量，但它们经常破坏多视角一致性假设，导致重建的辐射场中出现“浮点数”。为了在不影响视觉美感的情况下解决这个问题，我们旨在在NeRF训练阶段首先将ISP的增强解开，并在完成阶段重新应用用户所需的增强到重建的辐射场中。此外，为了使重新应用的增强在新视角之间保持一致，我们需要在3D空间中执行图像信号处理（即“3D ISP”）。为了实现这个目标，我们采用双边网格作为一种广义的ISP处理表示，它是一个局部仿射模型。具体而言，我们通过辐射场优化每个视角的3D双边网格，以近似相机管道的效果。为了实现用户可调整的3D完成，我们提出了从给定的单视图编辑中学习低秩4D双边网格的方法，将照片增强提升到整个3D场景中。我们的方法可以有效地消除“浮点数”，并通过用户润色执行增强，从而提高新视角合成的视觉质量。源代码和数据可在https://bilarfpro.github.io上获得。

解决ISP处理对于多视角一致性的影响问题，同时提供用户可调节的3D后期处理方式。

采用基于局部仿射模型的双边网格来表示ISP处理，通过优化每个输入视角的3D双边网格和辐射场来近似相机流水线的影响。学习低秩4D双边网格，将用户编辑的照片处理应用到整个3D场景中。

论文提出了一种解决ISP处理对于多视角一致性的影响问题的方法，并提供用户可调节的3D后期处理方式。实验结果表明该方法能够有效地移除浮点数，并提高新视角合成的视觉质量。作者还提供了开源代码和数据集。

最近的相关研究包括NeRF、IBR-Net、DIB-R等。