MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining

本文指出，基础模型通过增强各种图像解释任务，改变了遥感领域的格局。预训练是一个活跃的研究课题，包括监督和自监督学习方法，以有效地初始化模型权重。然而，将预训练模型转移到下游任务可能会遇到任务差异，因为它们将预训练的制定为图像分类或对象区分任务。本研究探索了遥感基础模型的多任务预训练（MTP）范例，以解决这个问题。使用共享编码器和任务特定的解码器架构，在SAMRS数据集上进行多任务监督预训练，包括语义分割、实例分割和旋转物体检测。MTP支持超过3亿个参数的卷积神经网络和视觉变换器基础模型。预训练模型在各种遥感下游任务上进行微调，如场景分类、水平和旋转物体检测、语义分割和变化检测。在14个数据集上进行了广泛的实验，证明了我们的模型优于相似大小的现有模型，并且与更大的最先进模型相比具有竞争性能，从而验证了MTP的有效性。

本文旨在探索多任务预训练（MTP）范式在遥感基础模型中的应用，以解决预训练模型在下游任务中可能遇到的任务差异性问题。

本文提出了基于共享编码器和任务特定解码器架构的多任务监督预训练方法，包括语义分割、实例分割和旋转目标检测，支持卷积神经网络和视觉Transformer基础模型，通过在14个数据集上的实验验证了该方法的有效性。

本文的亮点包括：1. 提出了MTP范式在遥感基础模型中的应用；2. 使用共享编码器和任务特定解码器架构进行多任务监督预训练；3. 在14个数据集上的实验验证了该方法的有效性；4. 与同等规模的现有模型相比，本文的模型表现出更好的性能；5. 与最先进的较大模型相比，本文的模型表现出相当的性能；6. 该方法可用于各种遥感下游任务。

最近在这个领域中的相关研究包括：1.《BigEarthNet: A Large-Scale Benchmark Archive for Remote Sensing Image Understanding》；2.《A Review of Deep Learning for Feature Extraction in Remote Sensing Applications》；3.《Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art》等。