UDHF2-Net: An Uncertainty-diffusion-model-based High-Frequency TransFormer Network for High-accuracy Interpretation of Remotely Sensed Imagery

远程感知图像高精度解译（RSIHI）包括语义分割和变化检测等任务，面临三个主要问题：（1）空间静止和非静止频率互补问题；（2）由编码器步骤中的下采样和固有边缘噪声引起的边缘不确定性问题；（3）由于变化检测中的图像配准误差引起的误检问题。为了解决上述问题，提出了基于不确定性扩散模型的高频变换网络（UDHF2-Net）用于RSIHI，其优点如下：（1）提出了一种空间静止和非静止高频连接范式（SHCP），以增强空间静止和非静止频率特征的交互，产生高保真度的边缘提取结果。受HRFormer启发，SHCP通过整个编码器-解码器过程保持高频流，具有并行的高到低频流，并通过下采样操作减少边缘损失；（2）提出了基于掩膜和地理知识的不确定性扩散模块（MUDM），以提高鲁棒性和边缘噪声抵抗力。 MUDM可以通过逐渐消除基于多个地理知识的噪声来进一步优化不确定区域，以改善边缘提取结果；（3）提出了一种用于变化检测任务的半伪孪生UDHF2-Net，以减少配准误差引起的伪变化。它采用半伪孪生架构，以提取上述互补频率特征，以适应性地减少配准差异，并通过MUDM逐渐减少配准误差以及上述边缘噪声来恢复不确定区域。进行了全面的实验，以证明UDHF2-Net的优越性。特别是消融实验表明了UDHF2-Net的有效性。

本论文旨在解决遥感图像高精度解释（RSIHI）中的三大问题：空间平稳和非平稳频率的互补问题、编码器步骤中由下采样和固有边缘噪声引起的边缘不确定性问题、以及由于变化检测中影像配准误差引起的误检问题。

本文提出了一种基于不确定性扩散模型的高频变换网络（UDHF2-Net）来解决上述问题。UDHF2-Net采用了空间平稳和非平稳高频连接范式（SHCP）来提高空间平稳和非平稳频率特征的交互作用，使用基于掩模和地理知识的不确定性扩散模块（MUDM）来提高鲁棒性和边缘噪声抵抗力，并提出半伪孪生UDHF2-Net来降低假变化的风险。

本文的亮点包括：（1）SHCP能够通过整个编码器-解码器过程保留高频流，并通过高到低频流的并行操作减少边缘损失；（2）MUDM能够通过逐步消除基于地理知识的多重噪声来进一步优化不确定区域，从而提高边缘提取结果；（3）UDHF2-Net能够降低假变化的风险，并通过逐步减少配准误差以及上述边缘噪声来恢复不确定区域。

在相关研究方面，最近的研究包括HRFormer、U-Net++和DeepLabv3+等。