SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation

最近几年，语义分割已成为处理和解释卫星图像的关键工具。然而，监督学习技术的普遍限制仍然是需要专家进行大量手动注释。在本研究中，我们探索了生成式图像扩散在解决地球观测任务中注释数据稀缺性方面的潜力。主要思想是学习图像和标签的联合数据流形，利用最近在去噪扩散概率模型方面的进展。据我们所知，我们是第一个为卫星分割生成图像和相应掩模的团队。我们发现，所得到的图像和掩模不仅在细节方面具有高质量，而且保证了广泛的采样多样性。这两个方面对于地球观测数据至关重要，因为语义类别在尺度和出现频率上可能会严重变化。我们将新颖的数据实例用作下游分割的一种数据增强形式。在实验中，我们与基于判别式扩散模型或GAN的先前工作进行了比较。我们证明了集成生成样本会对卫星语义分割产生显著的定量改进，无论是与基线相比还是仅在原始数据上进行训练。

论文旨在解决遥感图像语义分割中标注数据不足的问题，并探索使用生成式扩散模型生成遥感图像及其相应的掩码的潜力。

通过学习图像和标签的联合数据流形，利用最近的去噪扩散概率模型的进展，生成遥感图像和相应的掩码，以作为数据增强的形式。

论文是第一篇生成卫星图像分割任务中图像和掩码的工作，生成的样本不仅在细节方面显示高质量，而且确保了广泛的采样多样性。实验结果表明，与基线和仅训练原始数据相比，集成生成样本可以显著提高卫星遥感图像的分割效果。

与此前基于判别式扩散模型或GAN的相关工作进行了比较。