Frequency Decomposition-Driven Unsupervised Domain Adaptation for Remote Sensing Image Semantic Segmentation

本文介绍了基于无监督域适应技术的遥感图像跨领域语义分割，这极大地推进了地球科学中深度学习应用的发展。最近，Transformer模型的巧妙和多用途的架构已成功应用于RS-UDA任务。然而，现有的UDA方法主要集中在高级特征空间中的域对齐上。同时保留跨域局部空间细节和全局语境语义仍然具有挑战性，这对于RS图像语义分割任务至关重要。为了解决这些问题，我们提出了新颖的高/低频分解（HLFD）技术，以指导跨域语义分割中的表示对齐。具体而言，HLFD试图在对应的子空间中将特征图分解为高频和低频分量，然后执行域对齐。其次，为了进一步促进分解特征的对齐，我们提出了一种全局-局部生成对抗网络，即GLGAN，通过利用全局-局部Transformer块（GLTBs）学习跨域不变的详细和语义特征。通过将HLFD技术和GLGAN集成，开发了一种名为FD-GLGAN的新型UDA框架，以提高语义分割模型的跨域可转移性和泛化能力。在两个精细分辨率基准数据集（即ISPRS Potsdam和ISPRS Vaihingen）上进行的大量实验突出了所提出方法相对于最先进的UDA方法的有效性和优越性。本文的源代码将可在https://github.com/sstary/SSRS上获得。

本论文旨在解决遥感图像语义分割中跨域问题，即如何在不同领域的遥感图像上实现准确的语义分割。

论文提出了一种新颖的高/低频分解（HLFD）技术，以指导跨域语义分割中的表示对齐。具体来说，HLFD试图在进行相应子空间中的域对齐之前将特征图分解为高低频组件。其次，为了进一步促进分解特征的对齐，论文提出了一种全局-局部生成对抗网络（GLGAN），通过利用全局-局部Transformer块（GLTB）学习跨域不变的详细和语义特征。

论文使用了两个细节分辨率基准数据集进行了广泛的实验，即ISPRS Potsdam和ISPRS Vaihingen，证明了所提出的方法相对于最先进的UDA方法的有效性和优越性。此外，该论文开放了源代码。

在遥感图像语义分割领域的相关研究中，最近还有一些相关的工作，如：《Cross-domain Semantic Segmentation for Remote Sensing Imagery via Self-Training Domain Adaptation》、《Cross-Domain Semantic Segmentation for High-Resolution Remote Sensing Imagery Using a Multi-Task Learning Framework》等。