UrbanWorld: An Urban World Model for 3D City Generation

城市作为人类生活最基本的环境，包括建筑、道路和植被等多种物理元素，这些元素之间相互交织。制作逼真、交互式的三维城市环境对于构建能够像人类一样感知、决策和行动的人工智能代理至关重要。然而，创建高保真的三维城市环境通常需要设计师进行大量的手工劳动，包括复杂城市特征的精细细节和准确表现。因此，如何以自动化的方式完成这一任务一直是一个长期存在的挑战。为解决这个问题，我们提出了UrbanWorld，这是第一个能够自动创建定制的、逼真的、交互式的三维城市世界，并具有灵活的控制条件的生成式城市世界模型。UrbanWorld包括四个关键阶段：从开放可访问的OSM数据生成3D布局、使用强大的城市多模态大语言模型（Urban MLLM）进行城市场景规划和设计、使用先进的3D扩散技术进行可控的城市资产渲染，最后是MLLM辅助的场景细化。制作的高保真度三维城市环境能够为模拟中的通用人工智能和机器感知系统提供逼真的反馈和交互。我们正在努力将UrbanWorld作为开源和通用平台，用于评估和提高人工智能在逼真城市环境中的感知、决策和交互能力。

如何自动创建定制化、逼真且交互式的3D城市环境是一个长期存在的挑战。本论文旨在提出UrbanWorld，这是第一个能够自动生成具有灵活控制条件的定制化、逼真且交互式的3D城市世界模型的方法。

UrbanWorld包括四个关键阶段：从开放式可访问OSM数据中生成3D布局，使用强大的城市多模态大语言模型（Urban MLLM）进行城市场景规划和设计，使用先进的3D扩散技术进行可控城市资产渲染，最后是MLLM辅助的场景细化。UrbanWorld可以为模拟中的通用AI和机器感知系统提供逼真的反馈和交互。

本论文提出了UrbanWorld，第一个能够自动生成定制化、逼真且交互式的3D城市世界模型的方法。UrbanWorld的四个关键阶段包括3D布局生成、城市场景规划和设计、可控城市资产渲染和MLLM辅助的场景细化。实验结果表明，UrbanWorld可以为模拟中的通用AI和机器感知系统提供逼真的反馈和交互。论文作者正在将UrbanWorld作为开源和多功能平台贡献出来，以评估和改进AI在逼真的城市环境中的感知、决策和交互能力。

最近在这个领域中，还有一些相关的研究，例如：1）CityLearn：一种用于城市能源管理的强化学习环境；2）CityFlow：一种基于交通流仿真的城市交通控制器；3）CityGML：一种用于建筑和城市模型的开放式数据模型。