SG-BEV: Satellite-Guided BEV Fusion for Cross-View Semantic Segmentation

本文旨在实现跨视角场景下的精细建筑属性分割，即使用卫星图像和街景图像对。主要挑战在于克服街景和卫星视图之间的显著透视差异。在这项工作中，我们引入了SG-BEV，一种新颖的卫星引导BEV融合方法，用于跨视角语义分割。为了克服现有跨视角投影方法在捕捉完整建筑立面特征方面的局限性，我们创新地将鸟瞰图（BEV）方法纳入其中，以建立街景特征的空间显式映射。此外，我们通过引入新颖的卫星引导重投影模块，充分利用多个视角的优势，优化了传统BEV方法所涉及的不均匀特征分布问题。我们的方法在来自多个城市的四个跨视角数据集上展示了显着的改进，包括纽约、旧金山和波士顿。在这些数据集中，与最先进的基于卫星和跨视角方法相比，我们的方法平均提高了10.13%和5.21%的mIOU。本文的代码和数据集将在https://github.com/yejy53/SG-BEV上发布。

本论文旨在解决在交叉视角场景下，即使用卫星和街景图像对进行细粒度建筑属性分割的问题。其中主要挑战在于克服街景视图和卫星视图之间的显著透视差异。

本文提出了一种新的卫星引导的BEV融合方法，用于交叉视角语义分割。通过创新地将鸟瞰图（BEV）方法纳入街景特征的空间显式映射中，以克服现有交叉视角投影方法在捕捉完整建筑立面特征方面的局限性。此外，通过引入新颖的卫星引导重投影模块，充分利用多个视角的优势，优化与传统BEV方法相关的不均匀特征分布问题。

本文在多个城市收集的四个交叉视角数据集上展示了显着的改进。在这些数据集中，与最先进的基于卫星和交叉视角方法相比，本文方法的mIOU平均提高了10.13％和5.21％。此外，本文提供了代码和数据集。

在这个领域中，最近的相关研究包括：1.《Cross-View Semantic Segmentation for Large-Scale Real-World Point Clouds》2.《Cross-View Image Geolocalization》3.《Building Segmentation in Aerial and Satellite Imagery: A Comparative Review and Benchmark》等。