City Foundation Models for Learning General Purpose Representations from OpenStreetMap

预训练基础模型（PFMs）由于能够学习通用表示并可轻松应用于各种下游任务，已经引领了人工智能的范式转变。虽然PFMs已成功应用于自然语言处理和计算机视觉等各个领域，但其在处理地理空间数据和回答城市问题方面的能力仍然有限。这可以归因于地理空间数据的内在异质性，它包括不同的数据类型，包括点、线段和区域，以及多种信息模态，例如空间位置、视觉特征和文本注释。志愿地理信息计划的普及以及开放地理空间数据源的不断增加（例如全球免费访问的OpenStreetMap）为弥合这一差距提供了有希望的机会。本文提出了CityFM，这是一个自监督框架，可在所选的地理兴趣区域（如城市）内训练基础模型。CityFM仅依赖于来自OSM的开放数据，并生成不同类型实体的多模态表示，包括空间、视觉和文本信息。我们从定性角度分析了使用我们的基础模型生成的实体表示，并在道路、建筑和区域级下游任务上进行了定量实验。我们将其结果与专门针对各自应用的算法进行了比较。在所有实验中，CityFM的表现均优于或与基线相当。

本论文试图解决基于地理空间数据的人工智能问题，特别是在城市规划方面的应用。作者认为当前的预训练模型对于地理空间数据的处理能力仍然有限，需要一种新的方法来处理这种数据。

本文提出了一种基于开放地理空间数据的自监督框架CityFM，可以在特定的城市范围内训练一个基础模型，生成多模态的地理空间实体表示，包括空间位置、视觉特征和文本注释。

本文使用了开源的地理空间数据源OpenStreetMap，通过CityFM框架生成的地理空间实体表示在道路、建筑和区域级别的下游任务中表现出色。此外，本文还分析了生成的实体表示，并与特定任务的算法进行了比较，证明了CityFM的有效性。

最近在这个领域中，一些相关的研究包括：'GeoBERT: Pre-trained Deep Learning Models for Geography'，'GNN-Based Spatio-Temporal Feature Learning for Location Prediction in Mobile Networks'，'A Comprehensive Survey on Graph Neural Networks'等。