Investigating the Semantic Robustness of CLIP-based Zero-Shot Anomaly Segmentation

使用预训练的基础模型进行零样本异常分割是一种有前途的方法，它可以在不进行昂贵的领域特定训练或微调的情况下实现有效的算法。确保这些方法在各种环境条件下都能正常工作并且对分布变化具有鲁棒性是一个开放性问题。我们通过对测试数据进行三种语义变换（有界角度旋转、有界饱和度变换和色调变换）来研究WinCLIP [14]零样本异常分割算法的性能。我们通过对每个样本最坏情况扰动的聚合来经验性地测量一个较低的性能下限，并发现平均性能在ROC曲线下面积和每个区域重叠曲线下面积方面下降了高达20%和40%。我们发现无论模型架构或学习目标如何，三个CLIP骨干网络的性能都会持续降低，这表明需要进行仔细的性能评估。

研究如何通过预训练基础模型实现零样本异常分割，并且保证这些方法在各种环境条件下都能够有效地工作并且对分布偏移具有鲁棒性。

通过对测试数据进行三种语义转换（角度旋转、饱和度变化和色调变化）来评估WinCLIP零样本异常分割算法的性能，并发现平均性能下降了20％的ROC曲线下面积和40％的区域重叠曲线下面积。

论文使用了三种语义转换来评估算法性能，发现性能下降了。研究表明，无论模型架构或学习目标如何，性能都会降低，需要进行仔细的性能评估。

在这个领域中，最近的相关研究包括：1. Zero-Shot Learning for Anomaly Detection: A Survey（零样本学习用于异常检测：综述）；2. Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications（基于变分自编码器的无监督异常检测：适用于Web应用程序中的季节性KPI）；3. A Survey on Deep Learning for Anomaly Detection in Industry（深度学习在工业异常检测中的应用综述）。