Semantic Guided Large Scale Factor Remote Sensing Image Super-resolution with Generative Diffusion Prior

不同平台捕获的遥感图像在空间分辨率上存在显著差异。大比例尺超分辨率算法对于最大化从轨道捕获的低分辨率卫星数据的利用至关重要。然而，现有的方法在恢复具有清晰纹理和正确地面物体的超分辨率图像方面面临挑战。我们引入了一种新的框架，即语义引导扩散模型（SGDM），专为大比例尺遥感图像超分辨率而设计。该框架利用预训练的生成模型作为先验，生成感知合理的超分辨率图像。我们进一步通过结构和语义线索携带的矢量地图来增强重建。此外，成对遥感图像中的像素级不一致性可能会阻碍模型的收敛和生成结果的多样性，这源于传感器特定的成像特征。为了解决这个问题，我们提出提取传感器特定的成像特征并对其进行建模的方法，允许基于由参考图像提供的成像特征或从成像特征概率分布中采样的多样性SR图像生成。为了验证和评估我们的方法，我们创建了跨模态超分辨率数据集（CMSRD）。在CMSRD上的定性和定量实验展示了我们方法的优越性和广泛适用性。下游视觉任务的实验结果也证明了生成的SR图像的实用性。该数据集和代码将在https://github.com/wwangcece/SGDM上公开。

本论文旨在解决遥感图像超分辨率重建中的低分辨率和传感器特性对成像带来的影响，提出了一种新的语义引导扩散模型（SGDM）。

该模型利用预训练的生成模型作为先验来生成感知合理的高分辨率图像，并结合具有结构和语义线索的向量地图进一步提高重建效果。同时，该模型还能够提取传感器特性并建模其分布，从而生成多样化的超分辨率图像。

该论文提出了一种新的遥感图像超分辨率重建方法，通过引入语义信息和传感器特性分布建模，提高了重建效果和多样性。作者还创建了一个跨模态超分辨率数据集（CMSRD）用于验证和评估该方法的有效性，并进行了定量和定性实验。此外，作者还展示了该方法在下游视觉任务中生成的高分辨率图像的实用性，并公开了数据集和代码。

在遥感图像超分辨率重建领域，已有很多相关研究。例如，近年来出现了基于深度学习的方法，如SRCNN、ESPCN、VDSR等。此外，还有一些基于生成对抗网络（GAN）的方法，如SRGAN、EDSR等。