DF4LCZ: A SAM-Empowered Data Fusion Framework for Scene-Level Local Climate Zone Classification

遥感技术的最新进展表明，它们在准确分类本地气候区（LCZ）方面具有潜力。然而，传统的基于场景的卷积神经网络（CNN）方法通常难以有效地整合地面对象的先前知识。此外，常用的数据源如Sentinel-2在捕捉详细的地面对象信息方面遇到困难。为了解决这些挑战，我们提出了一种数据融合方法，将从高分辨率Google图像中提取的地面对象先验与Sentinel-2多光谱图像相结合。所提出的方法引入了一种新颖的用于LCZ分类的双流融合框架（DF4LCZ），将来自Google图像的基于实例的位置特征与从Sentinel-2图像中提取的场景级空间光谱特征相结合。该框架包括一个由Segment Anything Model（SAM）赋能的图卷积网络（GCN）模块，以增强从Google图像中提取特征的能力。同时，该框架采用3D-CNN架构来学习Sentinel-2图像的光谱空间特征。在专门设计用于LCZ分类的多源遥感图像数据集上进行实验，验证了所提出的DF4LCZ的有效性。相关代码和数据集可在https://github.com/ctrlovefly/DF4LCZ上获得。

本论文旨在解决利用遥感技术进行本地气候区域（LCZ）分类时，传统的卷积神经网络（CNN）难以有效整合地面对象先验知识的问题，并且常用的数据源如Sentinel-2在捕捉详细地面对象信息方面存在困难。

本文提出了一种数据融合方法，将从高分辨率Google图像中提取的地面对象先验知识与Sentinel-2多光谱图像相结合，提出了一种新颖的Dual-stream Fusion框架，将Google图像的基于实例的位置特征与从Sentinel-2图像中提取的场景级空间-光谱特征相结合。

本文提出的DF4LCZ框架有效地整合了Google图像和Sentinel-2图像的信息，采用Graph Convolutional Network（GCN）模块和Segment Anything Model（SAM）增强了从Google图像中提取特征的能力，同时采用3D-CNN架构学习了Sentinel-2图像的光谱空间特征。实验结果表明，DF4LCZ方法在LCZ分类方面具有很好的效果。

最近的相关研究包括：1）使用遥感图像进行城市土地覆盖分类的研究；2）使用深度学习进行遥感图像分类的研究。