Bridging Remote Sensors with Multisensor Geospatial Foundation Models

在地理空间分析领域中，包括光学和微波技术在内的多样化遥感传感器提供了丰富的独特观测能力。鉴于此，我们提出了msGFM，这是一个多传感器地理空间基础模型，可以有效地整合来自四个关键传感器模态的数据。这种整合跨越了一个庞大的数据集，包括两百万个多传感器图像。msGFM独特地擅长处理成对和非成对的传感器数据。对于来自相同地理位置的数据，我们的模型采用了一种创新的跨传感器预训练方法，在遮罩图像建模中，能够合成来自不同传感器的联合表示。msGFM结合了四个遥感传感器，具有强大的性能，形成了一个适用于各种传感器类型的综合模型。msGFM在一系列单传感器和多传感器下游任务中表现出了增强的熟练度，包括场景分类、分割、云去除和全色锐化。我们研究的一个关键发现是，从自然图像中得出的表示并不总是与地理空间遥感传感器的独特特征兼容，强调了该领域现有表示的局限性。我们的工作可以作为开发多传感器地理空间预训练模型的指南，为更先进的地理空间能力铺平道路。

论文旨在解决多源遥感数据融合的问题，提出了一种能够有效整合四种关键传感器模态的多传感器地理空间基础模型msGFM。

msGFM模型采用了一种新颖的跨传感器预训练方法，在掩膜图像建模中实现了对来自相同地理位置的数据的联合表示合成，从而使得msGFM模型能够适应各种传感器类型，并在单传感器和多传感器下游任务中表现出优异的性能。

论文使用了两百万张多传感器图像数据集，进行了一系列实验，包括场景分类、分割、云去除和全色增强等任务，证明了msGFM模型的有效性。研究发现，自然图像表示并不总是适用于地理空间遥感传感器的特殊特征，这也为开发多传感器地理空间预训练模型提供了指导。

在这个领域中，近期的一些相关研究包括：'Multi-sensor remote sensing image fusion using deep learning: A review'，'A review of multi-sensor image fusion techniques for remote sensing applications'等。