VistaDream: Sampling multiview consistent images for single-view scene reconstruction

在本文中，我们提出了一种名为VistaDream的新框架，用于从单视图图像重建3D场景。最近的扩散模型使得从单视图输入图像生成高质量的新视角图像成为可能。现有的大多数方法主要集中在建立输入图像与生成图像之间的一致性，而忽视了生成图像之间的内部一致性。VistaDream通过一个两阶段的管道解决了这个问题。在第一阶段，VistaDream通过稍微放大并填充边界以及使用估计的深度图来构建一个全局粗略的3D框架。然后，在这个全局框架上，我们使用基于扩散模型的迭代RGB-D修复来生成新视角图像，以填补框架中的空洞。在第二阶段，我们进一步通过一种新颖的无训练多视图一致性采样（MCS）方法增强生成的新视角图像之间的一致性，该方法在扩散模型的逆向采样过程中引入了多视图一致性约束。实验结果表明，无需对现有扩散模型进行训练或微调，VistaDream仅使用单视图图像就能实现一致且高质量的新视角合成，并且显著优于基线方法。代码、视频和交互式演示可在https://vistadream-project-page.github.io/ 获取。

该论文旨在解决从单视角图像重建3D场景的问题，特别是现有方法在生成多视角图像时，难以保持各生成图像之间的一致性。这是一个在3D重建和多视角合成领域中持续存在的挑战。

VistaDream提出了一种两阶段的框架来解决这一问题。首先，通过构建一个全局的粗略3D支架，并使用扩散模型进行RGB-D修复来生成新的视角图像。其次，引入了一种无需训练的多视角一致性采样（MCS）技术，在扩散模型的逆向采样过程中引入多视角一致性约束，以增强生成图像之间的一致性。这种思路在不依赖额外训练的情况下，显著提高了多视角图像的一致性和质量。

1. 实验结果表明，VistaDream在不进行任何训练或微调现有扩散模型的情况下，能够生成高质量且一致的多视角图像。 2. 该方法在多个基准测试中显著优于现有方法。 3. 项目提供了开源代码、视频和交互式演示，便于复现和进一步研究。 4. 值得继续深入的研究方向包括如何进一步优化多视角一致性，以及在更大规模和更复杂场景中的应用。

近年来，关于从单视角图像生成3D场景的研究非常活跃。一些相关的工作包括： 1. "MonoScene: Monocular 3D Scene Understanding via Multi-View Fusion" (CVPR 2022) 2. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" (ECCV 2020) 3. "MVSNet: Depth Inference for Unstructured Multi-View Stereo" (ECCV 2018) 4. "Single-View 3D Reconstruction via Implicit Surface Networks" (CVPR 2021)