SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery

地理位置对于从生态学到流行病学再到地球系统科学等领域的建模任务至关重要。然而，提取一个位置的相关和有意义的特征可能具有挑战性，通常需要从全球影像数据集中进行昂贵的数据融合或数据提炼。为了解决这个挑战，我们介绍了卫星对比位置-图像预训练（SatCLIP），这是一个全球通用的地理位置编码器，它从公开可用的卫星图像中学习位置的隐式表示。训练好的位置编码器提供向量嵌入，总结任何给定位置的特征，以便在不同的下游任务中方便地使用。我们展示了在全球采样的多光谱Sentinel-2卫星数据上预训练的SatCLIP嵌入可以用于各种依赖于位置信息但不一定依赖卫星图像的预测任务，包括温度预测、图像中的动物识别和人口密度估计。在各种任务中，SatCLIP嵌入始终优于现有预训练位置编码器的嵌入，这些编码器的范围从训练于自然图像的模型到训练于语义上下文的模型。SatCLIP嵌入还有助于改善地理泛化。这证明了通用位置编码器的潜力，为从地理空间数据的广泛、多样且大部分未被开发的模态中学习我们星球的有意义的表示打开了大门。

本文旨在解决从卫星图像中提取地理位置信息的问题，提出了一种基于卫星图像的全球通用地理位置编码器SatCLIP，并验证了其在预测任务中的有效性。

SatCLIP是一种全球通用的地理位置编码器，通过对多光谱卫星数据进行预训练，学习隐式表示地理位置的向量嵌入，可在各种下游任务中方便地使用。

本文展示了SatCLIP嵌入在温度预测、动物识别和人口密度估计等任务中的有效性，SatCLIP嵌入在各种任务中均优于现有预训练模型，同时有助于提高地理泛化能力。本文提供了开源代码和预训练模型。

最近的相关研究包括基于自然图像和基于语义上下文的预训练模型，如GeoBERT、GPT等。