DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting

越来越多的虚拟现实应用需求凸显了制作沉浸式3D资产的重要性。我们提出了一种文本到3D 360$^{\circ}$场景生成流程，能够在几分钟内创建野外环境下的全面360$^{\circ}$场景。我们的方法利用2D扩散模型的生成能力和提示自我改进来创建高质量的全局一致性全景图像。该图像作为初步的“平面”（2D）场景表示。随后，它被提升为3D高斯函数，采用点状绘制技术以实现实时探索。为了产生一致的3D几何结构，我们的流程通过将2D单眼深度对齐到全局优化点云来构建空间一致性结构。这个点云作为3D高斯函数质心的初始状态。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视角施加语义和几何约束作为正则化。这些约束指导高斯函数的优化，有助于重建未见区域。总之，我们的方法提供了一个全球一致的3D场景，具有360$^{\circ}$视角，比现有技术提供了更加增强的沉浸式体验。项目网站：http://dreamscene360.github.io/。

论文旨在解决创建全景360度场景的问题，提供一种快速生成高质量、全局一致的3D场景的方法。

论文提出了一种基于2D扩散模型和自我修正的文本到3D 360度场景生成管道。通过将2D图像转化为3D高斯分布来构建场景的3D几何结构，同时通过语义和几何约束来解决单视图输入中存在的不可见问题。

论文的方法可以在几分钟内生成全景360度场景，实现了全局一致性和高质量的场景。实验中使用了开源的数据集，并提供了项目网站和代码。

相关研究包括基于深度学习的全景图像生成，如《DeepStereo: Learning to Predict New Views from the World's Imagery》；以及基于传统计算机视觉技术的全景图像生成，如《Stereographic Projection for Fast, Immersive In-Car Scene Understanding》。