Neural Plasticity-Inspired Foundation Model for Observing the Earth Crossing Modalities

基础模型的发展已经彻底改变了我们利用卫星观测数据解释地球表面的能力。传统模型被分割成针对特定传感器或数据类型的模型，如光学、雷达和高光谱，每种模型都有其独特的特征。这种专业化妨碍了综合分析的潜力，无法发挥这些多样化数据源的综合优势。我们的新方法引入了动态全能模型（DOFA），利用神经可塑性的概念来自适应地将各种数据模态整合到单一框架中。这个动态超网络，可以调整到不同的波长，使得单一的多功能Transformer可以在来自五个传感器的数据的基础上联合训练，在包括预训练期间从未见过的传感器的12个不同的地球观测任务中表现出色。DOFA的创新设计为更准确、高效和统一的地球观测分析提供了一个有前途的飞跃，展示了在利用多模式地球观测数据的潜力方面的卓越适应性和性能。

论文旨在解决如何将不同的卫星数据整合到一个框架中进行地球观测分析的问题。

论文提出了一种动态一体化模型（DOFA），利用神经可塑性的概念，将各种数据模态自适应地整合到一个框架中。这个动态超网络可以适应不同的波长，并在五个传感器的数据上进行联合训练，表现出出色的性能。

DOFA模型的设计创新，可以在多模态地球观测数据上表现出卓越的适应性和性能。实验设计了12个不同的地球观测任务，并使用了五个传感器的数据进行联合训练，模型表现出极高的准确性和效率。论文开源了代码和数据集，为后续研究提供了便利。

最近的相关研究包括利用深度学习模型进行遥感图像分类和地球观测分析，例如“Multi-Task Deep Learning for Satellite Image Classification and Road Extraction”和“Deep Learning for Earth Observation Data: A Review”。