SceneCraft: Layout-Guided 3D Scene Generation

传统的3D建模工具创建符合用户要求的复杂3D场景是一项繁琐而具有挑战性的任务。尽管一些先驱方法已经实现了自动文本到3D生成，但通常仅限于规模较小的场景，并受到对形状和纹理的限制。我们介绍了SceneCraft，这是一种新方法，用于生成符合用户提供的文本描述和空间布局偏好的详细室内场景。我们方法的核心是基于渲染的技术，将3D语义布局转换为多视角2D代理地图。此外，我们设计了一个语义和深度条件扩散模型来生成多视角图像，这些图像用于学习神经光辐射场（NeRF）作为最终场景表示。在不受全景图像生成约束的情况下，我们超越了以前的方法，支持复杂的室内空间生成，甚至可以是具有不规则形状和布局的整个多卧室公寓。通过实验分析，我们证明了我们的方法在具有多样纹理，一致几何和逼真视觉质量的复杂室内场景生成方面显着优于现有方法。代码和更多结果可在以下网址找到：https://orangesodahub.github.io/SceneCraft。

SceneCraft旨在解决传统3D建模工具制作复杂室内场景的困难和繁琐问题，通过用户提供的文本描述和空间布局偏好生成详细的室内场景。

SceneCraft的关键思路是采用基于渲染的技术，将3D语义布局转换为多视角2D代理地图，并设计了一种语义和深度条件扩散模型来生成多视角图像，从而学习神经辐射场（NeRF）作为最终场景表示。相比于现有的方法，SceneCraft能够支持生成复杂的多房间室内空间，具有多样的纹理、一致的几何形状和逼真的视觉质量。

论文通过实验分析表明，SceneCraft在复杂室内场景生成方面显著优于现有的方法，具有更好的视觉效果和生成能力。论文开源了代码和更多结果，并使用了自己的数据集进行实验。值得进一步研究的方向包括如何应用SceneCraft生成更大规模的场景、如何提高生成的效率和质量等。

与该论文相关的研究包括基于文本的3D场景生成、基于视图的场景表示、神经辐射场等方向的研究。其中，与SceneCraft最相关的论文包括《Generative Modeling of 3D Indoor Scenes with Object Relations》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。