ODGEN: Domain-specific Object Detection Data Generation with Diffusion Models

现代基于扩散的图像生成模型已经取得了重大进展，并有望为目标检测任务丰富训练数据。然而，对于包含多类物体和密集物体遮挡的复杂场景，生成质量和可控性仍然有限。本文提出了ODGEN，一种新的方法，可以生成以边界框为条件的高质量图像，从而促进目标检测的数据合成。给定一个特定领域的目标检测数据集，我们首先微调预训练的扩散模型，使其适应目标分布，包括裁剪的前景物体和整个图像。然后，我们提出使用具有空间约束和物体级文本描述的合成视觉提示来控制扩散模型。ODGEN在处理复杂场景和特定领域方面表现出鲁棒性。此外，我们设计了一个数据集合成流程来评估ODGEN在7个特定领域的基准测试中的有效性。使用ODGEN生成的训练数据可以使像YOLOv5和YOLOv7这样的目标检测器的mAP@.50:.95提高高达25.3％，优于以前的可控生成方法。此外，我们设计了一个基于COCO-2014的评估协议来验证ODGEN在一般领域的效果，并观察到相对于现有方法，mAP@.50:.95提高了5.6％。

ODGEN论文试图解决的问题是如何生成高质量的图像，以丰富目标检测任务的训练数据，并提高检测模型的性能。

ODGEN的关键思路是使用预训练的扩散模型，通过对裁剪的前景对象和整个图像的微调来拟合目标分布，并使用合成的视觉提示和空间约束以及对象级文本描述来控制扩散模型，从而生成高质量的图像。

ODGEN展示了在处理复杂场景和特定领域方面的鲁棒性，并设计了数据集综合管道来评估ODGEN在7个特定领域基准测试上的有效性。使用ODGEN生成的训练数据可以提高25.3％的mAP @ .50：.95，超过先前的可控生成方法。此外，论文还设计了基于COCO-2014的评估协议来验证ODGEN在一般领域中的性能，并观察到与现有方法相比mAP @ .50：.95的优势高达5.6％。

与ODGEN相关的最近研究包括：1.《Generative Adversarial Networks for Object Detection》；2.《Controllable Image Synthesis via Recurrent GAN with Guided Skip Connections》；3.《Generative Modeling for Small-Data Object Detection》等。