Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

3D场景生成已经成为一个充满挑战的新研究方向，受2D生成扩散模型持续改进的推动。这个领域的大部分先前工作都是通过迭代地将新生成的帧与现有几何图形拼接来生成场景。这些工作通常依赖于预训练的单目深度估计器，将生成的图像提升到3D，并将它们与现有场景表示融合。这些方法通常通过文本度量来评估，衡量生成的图像与给定文本提示之间的相似性。在这项工作中，我们对3D场景生成领域做出了两个基本贡献。首先，我们注意到使用单目深度估计模型将图像提升到3D是次优的，因为它忽略了现有场景的几何形状。因此，我们引入了一种新颖的深度补全模型，通过教师蒸馏和自我训练来学习3D融合过程，从而提高场景的几何一致性。其次，我们引入了一种基于地面真实几何的场景生成方法新的基准测试方案，从而衡量场景结构的质量。

论文旨在解决3D场景生成中的几何不连续性问题，并提出一种基于地面真实几何的基准测试方案。

论文提出了一种新颖的深度完成模型，通过教师蒸馏和自我训练来学习3D融合过程，从而提高场景的几何一致性。

论文的实验设计基于地面真实几何，提出了一种新的基准测试方案。论文还提供了开源代码和使用的数据集。值得进一步研究。

在这个领域中，以往的工作主要依赖于预训练的单目深度估计器将图像提升到3D，并将其与现有的场景表示融合。此外，还有一些基于文本提示生成场景的方法。