SpatialLLM: From Multi-modality Data to Urban Spatial Intelligence

我们提出了 SpatialLLM，这是一种新颖的方法，用于在复杂城市场景中推进空间智能任务。与以往需要地理分析工具或领域专业知识的方法不同，SpatialLLM 是一个统一的语言模型，无需任何训练、微调或专家干预即可直接处理各种空间智能任务。SpatialLLM 的核心在于从原始空间数据中构建详细且结构化的场景描述，以提示预训练语言模型进行基于场景的分析。大量实验表明，通过我们的设计，预训练语言模型能够准确感知空间分布信息，并实现包括城市规划、生态分析、交通管理等在内的高级空间智能任务的零样本执行。我们认为，多领域知识、上下文长度和推理能力是影响语言模型在城市分析中表现的关键因素。我们希望 SpatialLLM 能为城市智能分析与管理提供一种全新的可行视角。代码和数据集可在 https://github.com/WHU-USI3DV/SpatialLLM 获取。

该论文试图解决如何利用预训练语言模型（LLM）在无需额外训练或领域专家干预的情况下完成复杂城市场景中的空间智能任务。这是一个新问题，因为传统方法通常依赖地理分析工具或领域专业知识。

关键思路是通过从原始空间数据中构建详细且结构化的场景描述，将这些描述作为提示输入给预训练LLM，从而让LLM能够执行各种空间智能任务。相比当前研究状况，SpatialLLM的独特之处在于它实现了零样本学习，并将多领域知识、上下文长度和推理能力作为影响LLM性能的关键因素。

论文展示了SpatialLLM在城市规划、生态分析和交通管理等任务中的有效性。实验设计包括广泛的测试案例以验证LLM对空间分布信息的感知能力。此外，作者开源了代码和数据集（https://github.com/WHU-USI3DV/SpatialLLM），为后续研究提供了便利。值得继续深入研究的方向包括改进场景描述的质量以及探索更复杂的多模态输入。

近期相关研究包括：1) GeoVLM: A Vision-Language Model for Geospatial Understanding；2) UrbanGPT: Large Language Models for Urban Planning；3) Spatiotemporal Transformer Networks for Traffic Prediction；4) City-Scale Scene Parsing with Multi-Modal Fusion。这些工作主要集中在结合视觉和语言模型处理地理空间数据或特定的城市分析任务上。