FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

2024年04月21日
  • 简介
    零样本异常检测(ZSAD)方法指在没有访问目标项目类别中任何已知正常或异常样本的情况下直接检测异常。现有方法通常依赖于多模态预训练模型的强大泛化能力,计算手工制作的文本特征(代表“正常”或“异常”语义)和图像特征之间的相似性,以检测异常并定位异常补丁。然而,“异常”的通用描述通常无法精确匹配不同对象类别中的各种类型的异常。此外,为单个补丁计算特征相似性往往难以准确定位不同大小和比例的异常位置。为解决这些问题,我们提出了一种新的ZSAD方法,称为FiLo,包括两个组件:自适应学习的精细化描述(FG-Des)和位置增强的高质量定位(HQ-Loc)。FG-Des使用大型语言模型引入每个类别的精细异常描述,并使用自适应学习的文本模板提高异常检测的准确性和可解释性。HQ-Loc利用Grounding DINO进行初步定位,使用位置增强的文本提示和多尺度多形状跨模态交互(MMCI)模块,促进不同大小和形状的异常更准确的定位。在MVTec和VisA等数据集上的实验结果表明,FiLo显著提高了ZSAD的检测和定位性能,在VisA数据集上实现了83.9%的图像级AUC和95.9%的像素级AUC的最新性能。
  • 图表
  • 解决问题
    本论文旨在解决零样本异常检测中的精确定位和准确性问题,提出了一种名为FiLo的新方法。
  • 关键思路
    FiLo方法包括两个组件:自适应学习的细粒度描述(FG-Des)和位置增强的高质量定位(HQ-Loc)。FG-Des使用大型语言模型引入每个类别的细粒度异常描述,并使用自适应学习的文本模板增强异常检测的准确性和可解释性。HQ-Loc利用Grounding DINO进行初步定位,位置增强的文本提示和多尺度多形状跨模态交互(MMCI)模块,有助于更准确地定位不同大小和形状的异常。
  • 其它亮点
    论文在MVTec和VisA等数据集上进行了实验,表明FiLo方法在检测和定位方面均显著提高了零样本异常检测的性能,实现了在VisA数据集上的图像级AUC为83.9%,像素级AUC为95.9%的最新成果。
  • 相关研究
    最近的相关研究包括:Zero-shot Anomaly Detection via Contrastive Learning和Zero-shot Anomaly Detection with Variational Autoencoders等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论