SOWA: Adapting Hierarchical Frozen Window Self-Attention to Visual-Language Models for Better Anomaly Detection

视觉异常检测在工业制造中至关重要，但传统方法通常依赖于大量的正常数据集和定制模型，限制了可扩展性。最近大规模视觉语言模型的进展显著提高了零/少样本异常检测的效果。然而，这些方法可能没有充分利用分层特征，可能会错过微妙的细节。我们引入了一个基于CLIP模型的窗口自注意机制，结合可学习的提示来处理Soldier-Officer Window self-Attention（SOWA）框架中的多级特征。我们的方法已在五个基准数据集上进行了测试，与现有最先进技术相比，在20个指标中领先18个，表现出卓越的性能。

本论文旨在解决工业制造中的视觉异常检测问题，传统方法需要大量的正常数据集和定制模型，限制了可扩展性。而最近大规模视觉语言模型的进展显著提高了零/少样本异常检测的能力，但这些方法可能没有充分利用分层特征，可能会错过微妙的细节。

论文提出了一种基于CLIP模型的窗口自注意机制，结合可学习的提示来处理Soldier-Offier Window自注意力（SOWA）框架中的多级特征。通过在五个基准数据集上的测试，我们的方法展现出优秀的性能，相比现有的最先进技术，在20个指标中领先18个。

该论文的亮点包括：窗口自注意机制的引入，SOWA框架的提出，在五个基准数据集上的测试表现优异，领先于现有的最先进技术。论文使用的数据集、实验设计、开源代码等也值得关注。

最近在这个领域中，还有一些相关的研究，例如：Few-shot learning for anomaly detection in autonomous driving (2021)，Few-shot anomaly detection with multiple heterogeneous features (2021)，A two-stage attentional approach for few-shot fine-grained visual classification (2020)等。