Changen2: Multi-Temporal Remote Sensing Generative Change Foundation Model

本文介绍了一种基于生成模型的变化数据生成器，通过模拟随机变化过程，生成具有语义和变化标签的时间序列图像。该方法可以自动、廉价地生成多时相遥感图像，从而解决了数据获取、预处理和标注成本高的问题。作者提出了一种概率图模型（GPCM），将复杂的模拟问题分解为两个易于处理的子问题，即变化事件模拟和语义变化合成。作者设计了一个分辨率可扩展的扩散变换器Changen2，用于生成带有标签或不带标签的单时相图像的时间序列、语义和变化标签。Changen2是一个生成变化基础模型，可以通过自监督进行大规模训练，并且可以从不带标签的单时相图像中产生变化监督信号。与现有的基础模型不同，Changen2合成变化数据以训练特定任务的基础模型，具有固有的零样本变化检测能力和良好的可迁移性。实验表明，Changen2具有优秀的时空可扩展性，例如，Changen2模型在256$^2$像素单时相图像上训练，可以产生任意长度和分辨率为1,024$^2$像素的时间序列。Changen2预训练模型表现出卓越的零样本性能和跨多种变化任务的可迁移性。在LEVIR-CD上，与完全监督的对应模型相比，Changen2的零样本性能差距仅为3%，在S2Looking和SECOND上差距约为10%。

论文旨在解决收集、预处理和注释大量多时相遥感图像以进行深度视觉模型训练的难题。为此，提出了基于生成模型的变化数据生成器，旨在自动且廉价地模拟随机变化过程，从而生成时间序列图像和其语义和变化标签。

论文提出了一个概率图模型（GPCM）Changen2，它将复杂的模拟问题分解为更易处理的两个子问题：变化事件模拟和语义变化合成。Changen2是一个分辨率可扩展的扩散变换器，可以从标记或未标记的单时相图像生成时间序列图像及其语义和变化标签。与现有的基础模型不同，Changen2合成变化数据以训练特定任务的基础模型进行变化检测，具有固有的零样本变化检测能力和良好的可迁移性。

论文的实验表明，Changen2具有出色的时空可扩展性，例如，Changen2模型可以从256x256像素的单时相图像训练出任意长度和分辨率为1024x1024像素的时间序列。Changen2预训练模型表现出优秀的零样本性能和多个类型变化任务的可迁移性。实验使用了LEVIR-CD、S2Looking和SECOND等数据集，论文也提供了开源代码。

最近在这个领域中，还有一些相关的研究，如：《Change Detection in Remote Sensing Images Using Conditional Generative Adversarial Networks》、《A Change-Driven Deep Learning Model for Spatiotemporal Data》等。