ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model

在3D场景重建方面的进展已经将现实世界的2D图像转化为3D模型，从数百张输入照片中生成逼真的3D结果。尽管在密集视角重建场景中取得了巨大成功，但从不足的捕捉视角渲染详细场景仍然是一个病态优化问题，通常会导致未见区域出现伪影和失真。在这篇论文中，我们提出了一种新的3D场景重建范式——ReconX，它将模糊的重建挑战重新定义为时间生成任务。关键在于利用大规模预训练视频扩散模型的强大生成先验来解决稀疏视角重建问题。然而，直接从预训练模型生成的视频帧难以准确保持3D视角一致性。为了解决这一问题，在给定有限输入视角的情况下，所提出的ReconX首先构建一个全局点云，并将其编码为上下文空间作为3D结构条件。在该条件的引导下，视频扩散模型随后合成既保留细节又表现出高度3D一致性的视频帧，确保从不同视角观看场景的一致性。最后，我们通过一种基于置信度的3D高斯点优化方案从生成的视频中恢复3D场景。在各种真实世界数据集上的大量实验表明，我们的ReconX在质量和泛化能力方面优于现有最先进方法。

该论文旨在解决从有限视角重建详细3D场景的问题，特别是在稀疏视图情况下，直接生成视频帧时难以保持3D视图一致性的问题。这是一个在3D场景重建领域中的持续挑战。

论文提出了一种名为ReconX的新方法，将稀疏视图重建问题重新定义为时间生成任务，利用大规模预训练的视频扩散模型的强大生成先验。通过构建全局点云并将其编码为3D结构条件，引导视频扩散模型生成既保留细节又具有高度3D一致性的视频帧，从而确保从不同视角观察场景的一致性。

1. 提出了ReconX框架，结合了3D点云和视频扩散模型的优势，有效解决了稀疏视图下的3D场景重建问题。 2. 实验在多个真实世界数据集上进行了验证，显示了ReconX在质量和泛化能力上的优越性。 3. 采用信心感知的3D高斯点绘优化方案，从生成的视频中恢复3D场景。 4. 论文提供了开源代码，便于其他研究者复现和进一步研究。

1. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" - 提出了一种基于神经辐射场的方法，用于从多视角图像合成新的视角。 2. "Instant-NGP: Generalizable NeRF with Instant Learning" - 通过快速学习实现了NeRF的即时训练，提高了3D场景重建的效率。 3. "MVSNet: Depth Inference for Unstructured Multi-View Stereo" - 利用深度学习方法从无结构的多视角图像中推断深度信息。 4. "Colmap: A General-Purpose Structure-from-Motion and Multi-View Stereo Library" - 提供了一个通用的SfM和MVS库，广泛应用于3D重建任务。