ReconFusion: 3D Reconstruction with Diffusion Priors

3D重建方法，如神经辐射场（NeRFs），擅长于渲染复杂场景的逼真新视图。然而，恢复高质量的NeRF通常需要数十到数百张输入图像，导致耗时的捕捉过程。我们提出了ReconFusion，只使用几张照片重建真实世界的场景。我们的方法利用扩散先验进行新视图合成，该先验在合成和多视角数据集上进行训练，可以规范化NeRF基于3D重建管道在超出输入图像集合捕获的新相机姿势下的表现。我们的方法在不受约束的区域合成逼真的几何和纹理，同时保留观察区域的外观。我们在各种真实世界数据集上进行了广泛的评估，包括前向和360度场景，证明了与以前的少视图NeRF重建方法相比的显着性能改进。

本文旨在通过少量照片重建真实世界场景，解决NeRF需要大量输入图像才能重建高质量模型的问题。

本文提出了一种名为ReconFusion的方法，利用扩散先验进行新视角合成，该先验在合成时利用合成和多视角数据集对NeRF进行正则化，从而在超约束区域合成逼真的几何和纹理。

本文在各种真实世界数据集上进行了广泛评估，包括前向和360度场景，并展示了与之前的少视角NeRF重建方法相比的显着性能改进。

与本文相关的研究包括NeRF、少视角重建、多视角几何重建等。