A$^{2}$-MAE: A spatial-temporal-spectral unified remote sensing pre-training method based on anchor-aware masked autoencoder

大量的遥感数据提供了地球观测的多个维度，包括关键的空间、时间和光谱信息，这对于解决全球范围内的挑战，如土地利用监测、灾害预防和环境变化缓解至关重要。尽管有各种针对遥感数据特点的预训练方法，但仍存在一个关键限制：无法在单一统一模型中有效地整合空间、时间和光谱信息。为了释放遥感数据的潜力，我们构建了一个空间-时间-光谱结构化数据集（STSSD），其特点是整合了多个遥感数据源、多样的覆盖范围、图像集中的统一位置和图像内的异质性。在此结构化数据集的基础上，我们提出了一种锚点感知掩码自编码器方法（A$^{2}$-MAE），利用来自不同类型图像和地理信息的内在互补信息来重构预训练阶段的掩码补丁。A$^{2}$-MAE整合了一个锚点感知掩码策略和一个地理编码模块，全面利用遥感图像的特性。具体而言，所提出的锚点感知掩码策略基于预选锚点图像的元信息动态适应掩码过程，从而促进了在一个模型中训练不同类型的遥感数据源捕获的图像。此外，我们提出了一种地理编码方法来利用精确的空间模式，增强了模型的泛化能力，适用于通常与位置相关的下游应用。广泛的实验表明，与现有的遥感预训练方法相比，我们的方法在各种下游任务中都取得了全面的改进，包括图像分类、语义分割和变化检测任务。

本论文旨在解决遥感数据中空间、时间和光谱信息无法有效整合的问题，以提高遥感数据的利用价值。

该论文提出了一种基于空间-时间-光谱结构数据集的遥感数据预训练方法（A$^{2}$-MAE），通过锚点感知遮蔽策略和地理编码模块，综合利用不同类型的遥感图像和地理信息，提高了模型的泛化性能。

论文使用了Spatial-Temporal-Spectral Structured Dataset (STSSD)数据集，提出了A$^{2}$-MAE预训练方法，实验结果表明该方法在遥感图像分类、语义分割和变化检测任务中均取得了优异的表现。

近期相关研究包括：'Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art'、'Deep Learning for Remote Sensing: A Comprehensive Review'等。