SceneTeller: Language-to-3D Scene Generation

在许多实际应用中，如房间规划或游戏开发中，设计高质量的室内3D场景非常重要。传统上，这是一个耗时的过程，需要艺术技能和熟悉专业软件，使其对普通用户几乎不可接近。然而，生成式人工智能的最新进展为民主化3D设计奠定了坚实的基础。在本文中，我们提出了一种开创性的基于文本的3D房间设计方法。给定一个自然语言描述房间中物体放置的提示，我们的方法会生成相应的高质量3D场景。通过额外的文本提示，用户可以改变整个场景或其中个别物体的外观。我们的完整流程使用上下文学习、CAD模型检索和基于3D高斯样条插值的样式化，能够产生最先进的3D场景，即使对于新手也很容易使用。我们的项目页面可在https://sceneteller.github.io/上访问。

论文提出了一种基于文本输入的3D室内场景生成方法，解决了传统室内设计流程需要艺术技能和专业软件的问题，使得普通用户也能够进行高质量的室内设计。

论文的关键思路是使用基于上下文学习、CAD模型检索和3D高斯光斑样式化的方法，将自然语言输入转换为高质量的3D场景。

论文的实验结果表明，该方法可以生成高质量的3D场景，并且易于使用，即使是新手也能够使用。论文还开源了代码和数据集，并提供了一个项目页面供用户使用和参考。该方法的应用包括房间规划和游戏开发等领域。

近年来，基于生成模型的3D场景生成方法得到了广泛研究。例如，Neural Scene Graphs for Dynamic Scenes和NeRF: Representing Scenes as Neural Radiance Fields等。