Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection

缺陷检测是识别生产样本中缺陷的任务。通常，缺陷检测分类器是在由正常样本（负数据）和带有缺陷的样本（正数据）组成的地面真实数据上进行训练的，其中后者始终比正常样本少。最先进的数据增强技术通过将伪缺陷数据叠加到正常样本上来缓解与不平衡训练数据相关的问题。这些技术通常会产生超出分布范围的图像，导致系统学习了什么不是正常样本，但不能准确地识别缺陷的外观。在这项工作中，我们介绍了DIAG，一种基于扩散的无需训练的内部分布异常生成数据增强流程。与传统的图像生成技术不同，我们实现了一个人在环节管道，其中领域专家通过文本描述和可能异常的区域定位向模型提供多模式指导。这种战略转变增强了结果的可解释性，并促进了更强大的人类反馈循环，便于生成输出的迭代改进。值得注意的是，我们的方法以零样本方式运行，避免了耗时的微调过程，同时实现了卓越的性能。我们在具有挑战性的KSDD2数据集上展示了DIAG的有效性和多样性，当正样本可用时，AP提高了约18％，当正样本缺失时提高了28％。源代码可在https://github.com/intelligolabs/DIAG上获得。

解决生产缺陷检测中数据不平衡问题，提高模型的准确性和鲁棒性。

提出了一种基于扩散的数据增强方法DIAG，通过人机交互的方式，使领域专家提供文本描述和可能异常区域的位置信息，从而生成更真实、可解释的缺陷数据，从而提高模型的性能。

使用KSDD2数据集进行实验，与现有数据增强方法相比，DIAG在有正样本和无正样本的情况下，平均精度（AP）分别提高了约18%和28%。DIAG是一种零样本学习方法，无需费时的微调过程，且具有较强的可解释性和人机交互性。研究团队提供了开源代码。

近期的相关研究主要集中在使用生成对抗网络（GAN）等方法进行数据增强，如CycleGAN、StarGAN等。