P-MSDiff: Parallel Multi-Scale Diffusion for Remote Sensing Image Segmentation

扩散模型和多尺度特征是处理遥感图像的语义分割任务中必不可少的组成部分。它们有助于改善分割边界并提供重要的上下文信息。类似于U-net的架构经常在分割任务的扩散模型中使用。这些架构设计包括密集的跳跃连接，可能会对中间特征的解释造成挑战。因此，它们可能无法有效地在编码器-解码器架构的各个层之间传递语义信息。为了解决这些挑战，我们提出了一种新的语义分割模型，称为具有并行多尺度分支的扩散模型。该模型由并行多尺度扩散模块（P-MSDiff）和交叉桥线性注意机制（CBLA）组成。P-MSDiff增强了对多个粒度级别上的语义信息的理解，并通过集成递归去噪分支来检测重复分布数据。它进一步通过将相关分支连接到主要框架来实现并行去噪，促进了数据的合并。此外，在相互连接的变压器架构中，LA模块已被CBLA模块替换。该模块将与查询相关的半定矩阵集成到键和值的点积计算中。这种集成使查询在LA框架内得以适应。这种调整增强了多头注意力计算的结构，从而提高了网络性能。CBLA是一个即插即用的模块。我们的模型基于UAVid和Vaihingen Building数据集的J1度量表现出卓越的性能，在强基线模型上分别提高了1.60％和1.40％。

本论文旨在解决遥感图像语义分割任务中的语义信息传递和中间特征解释的问题，通过提出一种新的模型——并行多尺度扩散模型，来提高分割边界的准确性和上下文信息的利用。

论文的关键思路是提出了并行多尺度扩散模块和交叉桥线性注意机制，通过这两个模块的结合，实现了对语义信息的多层次理解和重复数据的去噪，同时解决了传统的U-net模型中跳跃连接带来的中间特征解释困难的问题。

论文使用了UAVid和Vaihingen Building两个数据集进行实验，证明了所提出模型在J1指标上的表现优于强基线模型，分别提高了1.60%和1.40%。此外，论文提出的交叉桥线性注意机制可以作为一个可插拔的模块应用于其他模型中。

在遥感图像语义分割领域，最近的相关研究包括：DeepLab系列、PSPNet、GCN、HRNet等。