AdaCLIP: Adapting CLIP with Hybrid Learnable Prompts for Zero-Shot Anomaly Detection

这项研究介绍了一种名为AdaCLIP的方法，用于零样本异常检测（ZSAD）任务，旨在识别任意新类别图像中的异常。该方法利用了预训练的视觉语言模型（VLM）CLIP，并将可学习提示集成到CLIP中，并通过在辅助注释的异常检测数据上进行训练来优化它们。提出了两种可学习提示：静态提示和动态提示。静态提示在所有图像中共享，用于初步适应ZSAD的CLIP。相反，动态提示为每个测试图像生成，为CLIP提供动态适应能力。静态和动态提示的组合称为混合提示，并产生了增强的ZSAD性能。在工业和医学领域的14个真实世界异常检测数据集上进行的广泛实验表明，AdaCLIP优于其他ZSAD方法，并且可以更好地推广到不同的类别甚至领域。最后，我们的分析强调了多样的辅助数据和优化提示对于增强泛化能力的重要性。代码可在https://github.com/caoyunkang/AdaCLIP 上获得。

论文旨在解决零样本异常检测问题，即在任意新类别的图像中识别异常。这是否是一个新问题？

AdaCLIP利用预训练的视觉-语言模型(CLIP)来解决零样本异常检测问题。AdaCLIP将可学习的提示(prompt)引入CLIP，并通过对辅助注释异常检测数据的训练来优化它们。AdaCLIP提出了两种类型的可学习提示：静态提示和动态提示。静态提示在所有图像中共享，用于初步调整CLIP以适应零样本异常检测。相反，动态提示针对每个测试图像生成，为CLIP提供动态适应能力。静态和动态提示的组合称为混合提示，可以提高ZSAD性能。

论文在14个实际应用场景的异常检测数据集上进行了大量实验，包括工业和医疗领域。实验结果表明，AdaCLIP优于其他ZSAD方法，并且可以更好地推广到不同的类别甚至领域。此外，论文还强调了多样的辅助数据和优化提示对于增强泛化能力的重要性。论文提供了开源代码。

近期的相关研究包括：1. 'Zero-shot Learning for Anomaly Detection'；2. 'Deep One-Class Classification'；3. 'Anomaly Detection with Multiple-Hypotheses Predictions'等。