Impacts of Color and Texture Distortions on Earth Observation Data in Deep Learning

地表覆盖分类和变化检测是遥感和地球观测（EO）的两个重要应用，这些应用从深度学习的进步中受益匪浅。卷积和基于transformer的U-net模型是这些任务的最先进的架构，它们的性能得益于大规模注释的EO数据集的增加。然而，不同的输入EO数据的视觉特征对模型预测的影响尚不清楚。在这项工作中，我们系统地检查了模型对输入EO数据中几种基于颜色和纹理的扭曲的敏感性，这些模型在没有这些扭曲的情况下进行了训练。我们使用多个最先进的地表覆盖分类分割网络进行实验，并表明它们通常对纹理扭曲比颜色扭曲更敏感。除了揭示广泛使用的地表覆盖分类模型的有趣特性，我们的结果还可以用于指导EO领域更健壮模型的开发。

本论文旨在探讨遥感数据的视觉特征对于地物覆盖分类和变化检测模型预测的影响，以及提出更具鲁棒性的模型。

论文通过对遥感数据进行不同的色彩和纹理扭曲，系统地检查模型对于这些扭曲的敏感性，发现模型对纹理的敏感度高于对色彩的敏感度，进而提出了一种更具鲁棒性的模型。

论文使用多种最先进的分割网络进行实验，发现这些模型对于纹理的敏感度高于对色彩的敏感度；论文的实验数据和代码均已开源；论文的研究结果为未来更具鲁棒性的遥感数据分析模型的设计提供了指导。

最近的相关研究包括：《A Review of Deep Learning for Image Segmentation》、《Semantic Segmentation of Remote Sensing Imagery with Weak Labels》等。