AnomalySD: Few-Shot Multi-Class Anomaly Detection with Stable Diffusion Model

异常检测是工业制造中的关键任务，目的是识别产品中的缺陷部分。大多数工业异常检测方法都假定有足够的正常数据进行训练。由于标记成本或数据隐私政策等原因，这种假设可能不成立。此外，主流方法需要为不同的对象训练定制模型，这会产生巨大的成本，并且在实践中缺乏灵活性。为了解决这些问题，我们求助于稳定扩散（SD）模型，因为它具有零/少样本修复的能力，可以用于修复异常区域作为正常区域。本文提出了一种基于稳定扩散模型的少样本多类异常检测框架，命名为AnomalySD。为了将SD适应于异常检测任务，我们设计了不同的分层文本描述和前景掩模机制，用于微调SD。在推理阶段，为了准确地遮蔽异常区域以进行修复，我们提出了多尺度掩模策略和原型引导掩模策略来处理不同的异常区域。分层文本提示也被用于指导推理阶段的修复过程。异常评分是基于所有掩模的修复结果估计的。在MVTec-AD和VisA数据集上的大量实验表明了我们方法的优越性。在多类和一次性设置下，我们在MVTec-AD数据集上实现了93.6％/94.8％的AUROC异常分类和分割结果，在VisA数据集上实现了86.1％/96.5％的AUROC异常分类和分割结果。

本文旨在解决工业制造中的异常检测问题，特别是在缺乏足够正常数据进行训练的情况下。同时，为了提高灵活性和降低成本，论文提出了一种使用Stable Diffusion模型的零/少样本多类别异常检测框架。

本文的关键思路是采用Stable Diffusion模型进行零/少样本的修复，将异常区域修复为正常区域，从而实现异常检测。在模型微调、掩膜策略和层次化文本提示等方面进行了创新。

本文提出的AnomalySD框架在MVTec-AD和VisA数据集上进行了广泛的实验，取得了较好的异常分类和分割结果。实验设计合理，使用了多种掩膜策略和层次化文本提示，并提供了开源代码。

在这个领域中，还有一些相关的研究，如基于深度学习的异常检测方法、使用生成对抗网络的异常检测方法等。相关论文包括《Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection》和《GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training》等。