DreamScape: 3D Scene Creation via Gaussian Splatting joint Correlation Modeling

最近，在文本到3D创作方面取得了进展，这是通过将文本到图像生成的强大先验知识融入到3D领域中推动的。然而，生成由多个实例和复杂排列特征的3D场景仍然具有挑战性。在这项研究中，我们提出了DreamScape，一种从文本描述中创建高度一致的3D场景的方法，利用高斯喷洒的强大3D表示能力和大型语言模型（LLM）的复杂排列能力。我们的方法涉及一个3D高斯指南（$3{DG^2}$）用于场景表示，包括语义基元（对象）及其空间变换和关系，这些是直接从文本提示中使用LLMs导出的。这种组合表示允许对整个场景进行局部到全局的优化。在局部对象生成过程中，我们定制了一个渐进式比例控制，确保不同尺寸和密度的对象适应场景，这解决了简单混合在后续全局优化阶段引起的训练不稳定性问题。为了减轻LLM先验的潜在偏见，我们在全局层面上建模对象之间的碰撞关系，增强物理正确性和整体逼真度。此外，为了生成广泛分布于场景中的雨和雪等普遍对象，我们引入了一种稀疏初始化和致密化策略。实验表明，DreamScape具有高可用性和可控性，可以仅从文本提示中生成高保真度的3D场景，并与其他方法相比实现了最先进的性能。

本论文旨在解决从文本描述生成高度一致的3D场景的问题，特别是在多个实例和复杂布局的情况下。

该论文的关键思路是将高级语言模型（LLMs）的复杂排列能力与高质量的3D表示能力相结合，通过3D高斯点描技术实现高度一致的3D场景生成。

该论文提出了一种名为DreamScape的方法，它使用3D高斯点描技术和LLMs，通过语义原语（对象）及其空间变换和关系的3D高斯指南（$3{DG^2}$）来表示场景，从而实现局部到全局的场景优化。该方法还使用渐进式尺度控制，确保不同大小和密度的对象适应场景，并模拟对象之间的碰撞关系，提高物理正确性和整体逼真度。此外，为了生成广泛分布于场景中的普遍对象（如雨和雪），该论文引入了一种稀疏初始化和致密化策略。实验结果表明，DreamScape具有高可用性和可控性，能够从文本提示中生成高保真度的3D场景，并且在与其他方法的比较中表现出最先进的性能。

最近的相关研究包括：《Generative Models for 3D Multi-Agent Interaction: A Review》、《3D Scene Generation with Transformers》、《Neural 3D Mesh Renderer》等。