Scaling Efficient Masked Autoencoder Learning on Large Remote Sensing Dataset

本研究介绍了一个名为RS-4M的大规模数据集，旨在提高遥感图像的Masked Image Modeling (MIM)方法的训练效率。RS-4M数据集包括400万张光学图像，覆盖了丰富和细粒度的遥感视觉任务，包括对象级别检测和像素级别分割。与自然图像相比，遥感图像通常包含大量冗余的背景像素，这限制了传统MIM模型的训练效率。为了解决这个问题，本研究提出了一种高效的MIM方法，称为SelectiveMAE，它根据语义丰富性动态地编码和重构一组被选择的补丁标记。SelectiveMAE基于一个渐进的语义标记选择模块，从重构语义类似的标记到编码互补的语义依赖关系。这种方法将传统的MIM训练转化为一个渐进的特征学习过程，使SelectiveMAE能够高效地学习遥感图像的强大表示。大量实验表明，SelectiveMAE显著提高了训练效率2.2-2.7倍，并增强了基线MIM模型的分类、检测和分割性能。数据集、源代码和训练模型将会发布。

本文旨在解决遥感图像领域的MIM方法受限于数据量和多样性的问题，提出了RS-4M数据集和一种名为SelectiveMAE的高效MIM方法，使得MIM模型能够更好地学习可推广的表征。

SelectiveMAE是一种高效的MIM方法，通过动态编码和重构基于语义丰富性选择的补丁标记的子集来改进传统MIM模型的训练效率，从而实现逐步特征学习过程，提高RS图像的表征。

RS-4M数据集包含400万个遥感图像，涵盖了丰富的RS视觉任务，SelectiveMAE方法能够显著提高训练效率，增强基线MIM模型的分类、检测和分割性能。作者公开了数据集、源代码和训练模型。

在遥感图像领域，最近的相关研究包括：《Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art》、《Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources》等。