SFFNet: A Wavelet-Based Spatial and Frequency Domain Fusion Network for Remote Sensing Segmentation

为了充分利用空间信息进行分割，并解决遥感分割中灰度变化显著区域处理的挑战，我们提出了SFFNet（空间和频率域融合网络）框架。该框架采用了两阶段网络设计：第一阶段使用空间方法提取特征，以获得具有足够空间细节和语义信息的特征；第二阶段将这些特征在空间和频率域中映射。在频率域映射中，我们引入了小波变换特征分解器（WTFD）结构，使用Haar小波变换将特征分解为低频和高频分量，并将其与空间特征集成。为了弥合频率和空间特征之间的语义差距，并促进来自不同表示域的特征的组合，我们设计了多尺度双表示对齐滤波器（MDAF）。该结构利用多尺度卷积和双交注意力。全面的实验结果表明，与现有方法相比，SFFNet在mIoU方面表现优异，分别达到84.80％和87.73％。代码位于https://github.com/yysdck/SFFNet。

SFFNet论文旨在解决遥感图像分割中空间信息利用不充分和灰度变化显著的区域难以处理的问题。

SFFNet采用两阶段网络设计，第一阶段使用空间方法提取特征，获得具有足够空间细节和语义信息的特征；第二阶段将这些特征在空间和频率域中映射。在频率域映射中，引入了Wavelet Transform Feature Decomposer（WTFD）结构，使用Haar小波变换将特征分解为低频和高频组件，并将其与空间特征集成。为了弥合频率和空间特征之间的语义差距，并促进来自不同表示域的特征的组合，设计了Multiscale Dual-Representation Alignment Filter（MDAF）。该结构利用多尺度卷积和双交叉注意力。与现有方法相比，SFFNet在mIoU方面表现更好，分别达到84.80％和87.73％。

论文使用了遥感图像分割数据集进行实验，并将SFFNet与其他现有方法进行了比较。实验结果表明，SFFNet在遥感图像分割任务中取得了优异的性能。论文作者还在Github上开源了代码。

在遥感图像分割领域，还有一些相关研究。例如，DeepLab、UNet等。