Towards Vision-Language Geo-Foundation Model: A Survey

视觉语言基础模型（VLFMs）在各种多模态任务方面取得了显著的进展，例如图像字幕生成、图像-文本检索、视觉问答和视觉定位。然而，大多数方法依赖于通用图像数据集的训练，缺乏地理空间数据导致在地球观测方面的性能不佳。最近提出了许多地理空间图像-文本对数据集和在其上微调的VLFMs。这些新方法旨在利用大规模、多模态的地理空间数据构建具有多样化地理感知能力的通用智能模型，我们称之为视觉语言地理基础模型（VLGFMs）。本文全面回顾了VLGFMs，总结和分析了该领域的最新发展。特别是，我们介绍了VLGFMs崛起的背景和动机，强调了它们的独特研究意义。然后，我们系统地总结了VLGFMs中采用的核心技术，包括数据构建、模型架构和各种多模态地理空间任务的应用。最后，我们对未来研究方向提出了见解、问题和讨论。据我们所知，这是VLGFMs的第一篇综合文献综述。我们会在 https://github.com/zytx121/Awesome-VLGFM 上持续追踪相关工作。

综述了视觉-语言地理基础模型（VLGFMs）在地球观测方面的研究现状和发展趋势，旨在利用大规模的地理空间数据构建具有多样化地理感知能力的智能模型。

文章系统总结了VLGFMs的核心技术，包括数据构建、模型架构和各种多模态地理空间任务的应用。

文章介绍了VLGFMs的背景和动机，强调了其独特的研究意义。文章还介绍了各种实验设计、数据集和开源代码等亮点。

最近在这个领域中，还有一些相关研究，例如：Multimodal Geospatial Data Analysis: A Survey, Geographical-Visual Question Answering: A Survey, Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art