LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

3D沉浸式场景生成是计算机视觉和图形学中具有挑战性但至关重要的任务。理想的虚拟3D场景应该具有1）全方位视角的一致性，并且2）允许在复杂场景层次结构中进行自由探索。现有方法要么依赖于通过修补来扩展场景，要么采用全景表示来表示大FOV场景环境。然而，生成的场景在扩展过程中会受到语义漂移的影响，并且无法处理场景层次结构中的遮挡。为了解决这些挑战，我们介绍了LayerPano3D，这是一个新颖的框架，用于从单个文本提示生成全景、可探索的3D场景。我们的关键见解是将参考2D全景图分解成多个不同深度级别的图层，其中每个图层通过扩散先验从参考视图中揭示未见空间。LayerPano3D包括多个专用设计：1）我们引入了一种新颖的文本引导的锚定视图合成管道，用于高质量、一致性的全景生成。2）我们开创了分层3D全景作为底层表示，用于管理复杂的场景层次结构，并将其提升到3D高斯函数，以绘制详细的360度全方位场景，具有无限制的观看路径。广泛的实验表明，我们的框架在全视角一致性和沉浸式探索体验方面生成了最先进的3D全景场景。我们相信，LayerPano3D在推进3D全景场景创建方面具有许多应用前景。

本论文旨在解决生成全景式、可探索的三维场景的问题，其中场景需要满足全方位视角一致性和复杂场景层次的自由探索性。

论文提出了一种名为LayerPano3D的框架，该框架将参考的二维全景图分解成多个层次，每个层次通过扩散先验从参考视角中呈现出未见空间。同时，论文还引入了一种新的文本引导锚点视角综合管道以提高全景生成的质量和一致性，并将分层三维全景作为底层表示形式，以处理复杂场景层次结构并将其提升为三维高斯以呈现详细的全方位场景。

论文的实验结果表明，LayerPano3D框架在全视角一致性和沉浸式探索体验方面都达到了最先进的水平。论文还使用了多个数据集进行了广泛的实验，并提供了开源代码。该框架可用于许多应用领域。

在最近的相关研究中，也有一些关于三维场景生成的研究，如《Generative Modeling of 3D Indoor Scenes with Object Relations》和《Neural Scene Flow Fields for Space-Time Coherent Motion Forecasting》等。