Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior

最近，研究人员提出了各种深度学习方法，以准确检测具有模糊形状和纹理特征的红外目标。由于红外数据集的种类有限，用好的泛化性训练深度学习模型是一项挑战。为了增加红外数据集，研究人员采用数据增强技术，通常涉及通过结合来自不同数据集的图像生成新图像。然而，这些方法在两个方面存在缺陷。就真实性而言，基于混合的方法生成的图像缺乏真实性，难以有效模拟复杂的现实场景。就多样性而言，与现实世界的场景相比，从另一个数据集借鉴知识固有的多样性是有限的。目前，扩散模型是一种创新的生成方法。大规模训练的扩散模型具有强大的生成先验，能够实现对真实世界图像的建模，生成多样化和逼真的图像。在本文中，我们提出了一种基于扩散模型的数据增强方法Diff-Mosaic。该模型通过扩散先验有效地缓解了数据增强方法的多样性和真实性挑战。具体而言，我们的方法由两个阶段组成。首先，我们引入了一个称为Pixel-Prior的增强网络，通过协调像素生成高度协调和逼真的马赛克图像。在第二阶段，我们提出了一种名为Diff-Prior的图像增强策略。该策略利用扩散先验对现实场景中的图像进行建模，进一步增强了图像的多样性和真实性。广泛的实验表明，我们的方法显著提高了检测网络的性能。代码可在https://github.com/YupeiLin2388/Diff-Mosaic找到。

本文旨在解决红外目标检测中数据集多样性和真实性不足的问题，通过基于扩散模型的数据增强方法Diff-Mosaic来提高模型的泛化性能。

本文提出了一种基于扩散模型的数据增强方法Diff-Mosaic，该方法包括两个阶段：Pixel-Prior阶段和Diff-Prior阶段。Pixel-Prior阶段通过协调像素生成高度协调和逼真的马赛克图像，Diff-Prior阶段利用扩散先验对真实场景中的图像进行建模，进一步增强图像的多样性和真实性。

本文使用了扩散模型来生成多样且逼真的图像，提高了红外目标检测模型的泛化性能。实验结果表明，Diff-Mosaic方法显著提高了检测网络的性能。作者开源了代码。

近年来，基于深度学习的红外目标检测方法不断涌现。为了提高模型的泛化性能，研究人员使用数据增强技术。然而，这些方法在多样性和真实性方面存在不足。与此同时，扩散模型成为一种新的生成方法，能够生成多样且逼真的图像，成为当前的研究热点。相关研究包括《Improved Techniques for Training GANs》、《Generative Adversarial Networks》等。