Continuous Urban Change Detection from Satellite Image Time Series with Temporal Feature Refinement and Multi-Task Integration

城市化以前所未有的速度发展，对环境和人类福祉产生了负面影响。遥感技术通过提供城市增长的准确信息，有潜力支持可持续发展战略，从而缓解这些影响。基于深度学习的方法利用卷积神经网络(ConvNets)、变形器和多任务学习设置，从光学卫星图像对中取得了有希望的城市变化检测结果。然而，变形器尚未被用于多时相数据（即>2张图像）的城市变化检测，多任务学习方法缺乏将变化和分割输出结合的集成方法。为了填补这一研究空白，我们提出了一种连续的城市变化检测方法，该方法识别卫星图像时间序列中每个连续图像对中的变化。具体而言，我们提出了一种利用自注意力提高基于ConvNet的多时相建筑表示的时间特征细化(TFR)模块。此外，我们提出了一种利用马尔科夫网络找到基于分割和密集变化输出的最优建筑地图时间序列的多任务集成(MTI)模块。所提出的方法通过PlanetScope星座(F1得分0.551)和高分二号(F1得分0.440)获取高分辨率卫星图像时间序列，有效地识别城市变化。此外，我们在两个具有挑战性的数据集上的实验表明，与双时相和多时相城市变化检测和分割方法相比，所提出的方法具有更好的效果。

本文旨在通过遥感技术提供准确的城市增长信息，以支持可持续发展战略。具体而言，论文试图解决如何利用transformers进行多时相城市变化检测以及如何整合变化检测和分割输出两个任务的问题。

本文提出了一种连续的城市变化检测方法，利用自注意力机制提高卷积神经网络对多时相建筑物的表示，同时利用马尔可夫网络整合分割和变化检测输出。相比当前领域的研究，本文的关键思路在于使用transformers进行多时相城市变化检测，并提出了一种新的多任务整合方法。

本文的实验使用了PlanetScope和Gaofen-2两个数据集，得出了F1分数分别为0.551和0.440的结果。同时，论文提出的方法在多时相城市变化检测和分割任务上均有较好的表现。此外，本文的方法具有一定的通用性，可以适用于其他领域的时序数据处理。论文提供了开源代码。

近期的相关研究包括：《Multi-Task Learning for Urban Land Cover Classification and Change Detection Using Multispectral Sentinel-2 Imagery》、《Urban Change Detection Using Multitemporal Sentinel-1 SAR and Sentinel-2 Optical Images》等。