CityCraft: A Real Crafter for 3D City Generation

城市场景生成在自动驾驶、智慧城市开发和交通仿真方面引起了重视，有助于增强基础设施规划和监控解决方案。现有方法采用两阶段过程，首先使用变分自编码器（VAEs）、生成对抗网络（GANs）或Transformers生成城市布局，然后进行神经渲染。这些技术通常表现出有限的多样性和渲染城市场景中明显的伪影。渲染场景缺乏多样性，类似于训练图像，导致单调的风格。此外，这些方法缺乏规划能力，导致生成的场景不够真实。在本文中，我们介绍了CityCraft，这是一个创新的框架，旨在增强城市场景生成的多样性和质量。我们的方法集成了三个关键阶段：首先，使用扩散Transformer（DiT）模型生成多样化和可控制的2D城市布局。随后，利用大型语言模型（LLM）根据用户提示和语言指南在这些布局中制定土地使用计划。基于生成的布局和城市规划，我们利用资产检索模块和Blender进行精确的资产放置和场景构建。此外，我们为该领域贡献了两个新数据集：1）包括城市区域的2D语义布局、相应的卫星图像和详细注释的CityCraft-OSM数据集。2）CityCraft-Buildings数据集，其中包含数千个多样化、高质量的3D建筑资产。CityCraft在生成逼真的3D城市方面实现了最先进的性能。

本文旨在解决城市场景生成中存在的样式单一、缺乏规划能力等问题，提高城市场景生成的多样性和质量。

CityCraft框架整合了三个关键阶段：使用扩散Transformer模型生成多样化的2D城市布局，使用大型语言模型根据用户提示和语言指南进行土地利用规划，基于生成的布局和规划，利用资产检索模块和Blender进行精确的资产放置和场景构建。

本文提出了两个新数据集：CityCraft-OSM数据集包括城市区域的2D语义布局、相应的卫星图像和详细注释；CityCraft-Buildings数据集包括数千个多样化、高质量的3D建筑资产。CityCraft在生成逼真的3D城市方面取得了最先进的性能。

与本文相关的研究包括使用VAEs、GANs或Transformers生成城市布局的方法，以及其他城市场景生成方法。