SceneX:Procedural Controllable Large-scale Scene Generation via Large-language Models

由于其巨大的应用潜力，大规模场景生成在学术界和工业界都受到了广泛的关注。最近的研究采用了强大的生成模型来创建所需的场景，并取得了有 promising 的结果。然而，这些方法中大多数使用 3D 原语（例如点云或辐射场）来表示场景，这与工业流水线不兼容，导致学术研究和工业部署之间存在实质性差距。程序控制生成（PCG）是一种有效的技术，可以创建可扩展和高质量的资产，但对于普通用户来说，它需要深入的领域专业知识，因此不太友好。为了解决这些问题，我们采用了大型语言模型（LLM）来驱动程序化建模。在本文中，我们介绍了一个大规模场景生成框架 SceneX，它可以根据设计师的文本描述自动生成高质量的程序化模型。具体来说，所提出的方法包括两个组件，PCGBench 和 PCGPlanner。前者包括一个广泛的可访问程序资产集和数千个手工 API 文档。后者旨在生成可执行的操作，以便 Blender 根据用户的指令生成可控和精确的 3D 资产。我们的 SceneX 可以生成跨越 2.5 公里乘以 2.5 公里的城市，具有精细的布局和几何结构，将专业 PCG 工程师数周的时间成本大大缩短为普通用户几个小时。广泛的实验证明了我们的方法在可控大规模场景生成和编辑方面的能力，包括资产放置和季节转换。

论文旨在解决大规模场景生成的问题，尤其是如何将程序化生成的模型与工业流程相兼容。同时，也试图解决普通用户使用程序化生成技术的难度问题。

通过使用大型语言模型（LLM）来驱动程序化建模，提出了SceneX框架。该框架包含两个组成部分：PCGBench和PCGPlanner。前者提供了大量易于访问的程序化资产和API文档，后者旨在生成可执行的Blender操作，以根据用户的指示生成可控和精确的3D资产。

论文提出的SceneX框架可以自动根据设计师的文本描述生成高质量的程序化模型，大大缩短了专业PCG工程师数周的时间成本，使普通用户也能够使用程序化生成技术。实验展示了该方法在可控大规模场景生成和编辑方面的能力，包括资产放置和季节转换。

在大规模场景生成方面，最近的相关研究包括使用强大的生成模型创建所需场景并取得良好结果的方法。然而，大多数方法使用3D基元（例如点云或辐射场）来表示场景，这与工业流程不兼容，导致学术研究和工业部署之间存在重大差距。另外，程序化可控生成（PCG）是一种创建可扩展和高质量资产的有效技术，但对于普通用户来说不太友好，需要深刻的领域专业知识。