SAM-LAD: Segment Anything Model Meets Zero-Shot Logic Anomaly Detection

视觉异常检测在实际应用中非常重要，例如工业缺陷检测和医学诊断。然而，大多数现有方法都专注于局部结构异常，无法在逻辑条件下检测到更高级别的功能异常。虽然最近的研究探索了逻辑异常检测，但它们只能解决简单的缺失或添加异常，并且由于过度依赖数据，具有很差的泛化性。为了填补这一空白，我们提出了SAM-LAD，这是一个零样本、即插即用的逻辑异常检测框架，适用于任何场景。首先，我们使用预训练的主干网获取查询图像的特征图。同时，我们通过查询图像的最近邻搜索检索参考图像及其相应的特征图。然后，我们引入Segment Anything Model (SAM)来获取查询和参考图像的对象掩模。每个对象掩模都与整个图像的特征图相乘，以获取对象特征图。接下来，我们提出了一个对象匹配模型（OMM）来匹配查询和参考图像中的对象。为了便于对象匹配，我们进一步提出了动态通道图注意力（DCGA）模块，将每个对象视为关键点，并将其特征图转换为特征向量。最后，基于对象匹配关系，我们提出了一个异常测量模型（AMM）来检测具有逻辑异常的对象。对象中的结构异常也可以被检测到。我们使用各种基准测试验证了我们提出的SAM-LAD，包括工业数据集（MVTec Loco AD、MVTec AD）和逻辑数据集（DigitAnatomy）。广泛的实验结果表明，SAM-LAD优于现有的SoTA方法，特别是在检测逻辑异常方面。

SAM-LAD提出了一个零样本、即插即用的框架，用于在任何场景中检测逻辑异常。现有方法大多关注局部结构异常，无法检测在逻辑条件下的更高级别的功能异常。

SAM-LAD使用预训练的主干网获取查询图像的特征映射，并通过查询图像的最近邻搜索检索参考图像及其相应的特征映射。然后，引入Segment Anything Model (SAM)来获取查询和参考图像的对象掩码。每个对象掩码都与整个图像的特征映射相乘，以获取对象特征映射。接下来，提出了一个Object Matching Model (OMM)来匹配查询和参考图像中的对象。为了促进对象匹配，进一步提出了Dynamic Channel Graph Attention (DCGA)模块，将每个对象视为关键点，并将其特征映射转换为特征向量。最后，基于对象匹配关系，提出了一个Anomaly Measurement Model (AMM)来检测具有逻辑异常的对象。

SAM-LAD在各种基准测试中进行了验证，包括工业数据集（MVTec Loco AD，MVTec AD）和逻辑数据集（DigitAnatomy）。广泛的实验结果表明，SAM-LAD在检测逻辑异常方面优于现有的SoTA方法，尤其是在工业数据集上表现出色。

最近在这个领域中，还有一些相关的研究，如：《Learning to Detect Anomalies with Self-Supervision》、《Anomaly Detection Using One-Class Neural Networks with Application to Maritime Surveillance》、《Deep One-Class Classification with Uncertainty Estimation for Anomaly Detection》。