OmniSat: Self-Supervised Modality Fusion for Earth Observation

地球观测领域提供了来自各种传感器的大量数据，为推进自监督多模态学习提供了巨大机遇。然而，当前的多模态地球观测数据集和模型仅关注单一数据类型，即单日期图像或时间序列，这限制了它们的表现力。我们介绍了OmniSat，一种新颖的体系结构，利用多个EO模态之间的空间对齐来学习表达丰富的多模态表示，无需标签。为了展示结合不同性质的模态的优势，我们增加了两个现有数据集的新模态。在林业、土地覆盖分类和作物映射等三个下游任务中展示了OmniSat可以以无监督的方式学习丰富的表示，即使只有一种模态可用于推理，也可以在半监督和全监督设置下提高性能。代码和数据集可在github.com/gastruc/OmniSat获取。

本论文旨在解决当前多模态遥感数据集和模型只专注于单一数据类型的问题，限制了其表现力。作者提出了一种新的体系结构OmniSat，旨在利用多个遥感数据模态之间的空间对齐关系，无需标签即可学习表现力强的多模态表示。

OmniSat利用多个遥感数据模态之间的空间对齐关系来学习表现力强的多模态表示，从而在半监督和全监督设置中实现了更好的性能。

论文通过将两个现有的数据集增加新的模态来展示OmniSat的优势，并在林业、土地覆盖分类和作物映射等三个下游任务中进行了实验，证明了OmniSat可以无监督地学习丰富的表示，即使在推理时只有一个模态可用也能提高性能。作者已经在github上公开了代码和数据集。

与本文相关的研究包括：1.利用卷积神经网络进行遥感图像分类（Convolutional Neural Networks for Remote Sensing Image Classification）；2.基于深度学习的遥感图像分类（Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art）。