Swin2-MoSE: A New Single Image Super-Resolution Model for Remote Sensing

由于当前光学和传感器技术的限制以及更新它们的高成本，卫星的光谱和空间分辨率可能不总能满足所需的要求。出于这些原因，遥感单幅图像超分辨率（RS-SISR）技术引起了极大的关注。在本文中，我们提出了Swin2-MoSE模型，这是Swin2SR的增强版本。我们的模型引入了MoE-SM，一种增强的专家混合（MoE）来替换所有Transformer块内部的前馈。MoE-SM采用了Smart-Merger设计，一种用于合并单个专家输出的新层，并采用了一种新的方式来分配专家之间的工作，定义了一种新的每个示例策略，而不是常用的每个标记策略。此外，我们分析了位置编码如何相互作用，证明了每个通道偏差和每个头偏差可以积极合作。最后，我们建议使用归一化交叉相关（NCC）和结构相似性指数测量（SSIM）损失的组合，以避免典型的MSE损失限制。实验结果表明，在2x、3x和4x分辨率提升（Sen2Venus和OLI2MSI数据集）任务中，Swin2-MoSE的性能优于SOTA，PSNR提高了0.377 ~ 0.958 dB。我们展示了Swin2-MoSE的有效性，并将其应用于语义分割任务（SeasoNet数据集）。代码和预训练模型可在https://github.com/IMPLabUniPr/swin2-mose/tree/official_code上获得。

本论文旨在提出一种解决卫星遥感图像分辨率不足的问题的方法，即Remote-Sensing Single-Image Super-Resolution (RS-SISR)技术。

本文提出了Swin2-MoSE模型，通过引入MoE-SM和新的损失函数来提高图像分辨率。MoE-SM是一种增强的Mixture-of-Experts (MoE)，用于替换所有Transformer块内部的Feed-Forward。

本文的实验结果表明，Swin2-MoSE在2x、3x和4x分辨率提升任务上优于SOTA，并将其应用于语义分割任务。此外，作者还提供了开源代码和预训练模型。

与本文相关的研究包括基于深度学习的图像超分辨率方法，如EDSR、RCAN和DBPN等。