Multi-scale Restoration of Missing Data in Optical Time-series Images with Masked Spatial-Temporal Attention Network

由于诸如浓密的云层和传感器限制等因素，遥感图像经常存在严重的缺失数据，导致时间序列信息不完整。现有的遥感图像缺失值填补方法未充分利用时空辅助信息，导致恢复的准确性有限。因此，本文提出了一种新颖的基于深度学习的方法，称为MS2TAN（多尺度掩膜空间时间注意网络），用于重建时间序列遥感图像。首先，我们引入了一种基于掩膜空间时间注意力（MSTA）的高效时空特征提取器，以获得缺失区域的时空邻域特征的高质量表示。其次，采用由基于MSTA的特征提取器组成的多尺度恢复网络，通过在不同尺度上探索时空邻域特征逐步改进缺失值。第三，我们提出了一种“像素-结构-感知”多目标联合优化方法，以从多个角度增强重建结果的视觉效果并保留更多的纹理结构。此外，所提出的方法并行地重建所有输入时间相位的缺失值（即多输入多输出），实现了更高的处理效率。最后，在多个研究领域中进行的两个典型缺失数据恢复任务的实验评估表明，所提出的方法优于现有最先进的方法，在平均峰值信噪比（mPSNR）上提高了0.40dB/1.17dB，在平均结构相似性（mSSIM）上提高了3.77/9.41千分之一，并展现出更强的纹理和结构一致性。

本文的问题是通过利用空间-时间辅助信息来重建遥感图像中的缺失数据，以提高恢复的准确性。这是一个新问题。

本文的关键思路是提出了一种新的深度学习方法MS2TAN，它利用遮蔽的空间-时间注意力机制进行高效的空间-时间特征提取，并采用多尺度恢复网络进行多层次的缺失值修复。此外，本文还采用了多目标联合优化方法来增强重建结果的视觉效果和纹理结构一致性。

本文的亮点包括：1. 提出了一种新的深度学习方法MS2TAN，它在两个典型的遥感图像数据集上均优于当前最先进的方法；2. 采用遮蔽的空间-时间注意力机制进行高效的空间-时间特征提取；3. 采用多尺度恢复网络进行多层次的缺失值修复；4. 采用多目标联合优化方法来增强重建结果的视觉效果和纹理结构一致性；5. 本文的实验设计详细，使用了两个典型的遥感图像数据集，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，如：1. Deep Learning-based Remote Sensing Image Restoration with Multi-scale Fusion，2. A Spatial-Temporal Attention-based Method for Remote Sensing Image Restoration，3. A Multi-scale Convolutional Neural Network for Remote Sensing Image Restoration。