Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis

神经辐射场（NeRF）展示了在大规模、无界场景中惊人的新视角合成能力，尽管需要数百个视角或在更稀疏的情况下引入伪影。当只有少量视觉重叠可用时，它们的优化会受到形状-辐射歧义的影响。这导致了错误的场景几何和伪影。在本文中，我们提出了Re-Nerfing，这是一种简单且通用的多阶段数据增强方法，利用NeRF的视角合成能力来解决这些限制。通过Re-Nerfing，我们如下增强了新视角的几何一致性：首先，我们使用可用的视角训练一个NeRF。然后，我们使用优化后的NeRF在原始视角周围合成伪视角，并使用视角选择策略来提高覆盖率和保留视角质量。最后，我们使用原始图像和伪视角训练第二个NeRF，遮盖不确定区域。在 mip-NeRF 360 数据集上应用 Re-Nerfing 的广泛实验，包括高斯重构等各种管道，为在更密集和更稀疏的输入情况下实现的改进提供了有价值的见解，而无需外部数据或监督。项目页面：https://renerfing.github.io。

本论文旨在解决NeRF模型在可视化重叠区域较少的情况下，存在形状-辐射度不确定性导致场景几何形状错误和伪像的问题。

论文提出了一种名为Re-Nerfing的多阶段数据增强方法，利用NeRF自身的视图合成能力来增强新视图的几何一致性。具体而言，Re-Nerfing分为三个步骤：首先，使用现有视图训练NeRF；然后，使用优化的NeRF在原始视图周围合成伪视图，以提高覆盖率和保留视图质量；最后，使用原始图像和伪视图训练第二个NeRF，遮盖不确定区域。这种方法可以在不需要外部数据或监督的情况下改善现有的密集和稀疏输入场景。

论文在mip-NeRF 360数据集上进行了广泛的实验，包括高斯喷洒等各种流水线，展示了Re-Nerfing的改进效果。此外，论文还提供了有关数据集和代码的详细信息，并探讨了未来研究的方向。

在这个领域中，最近的相关研究包括：《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》、《Learning to Reconstruct Shapes from Unseen Classes》、《Neural Volumes: Learning Dynamic Renderable Volumes from Images》等。