Dinomaly: The Less Is More Philosophy in Multi-Class Unsupervised Anomaly Detection

最近的研究突出了一种实际的无监督异常检测（UAD）设置，它建立了一个统一的模型用于多类图像，作为传统的一类一模型设置的替代方案。尽管有各种各样的进展来解决这个具有挑战性的任务，但是在多类设置下的检测性能仍然远远落后于最先进的分类分离模型。我们的研究旨在弥合这个实质性的性能差距。在本文中，我们介绍了一种极简的基于重构的异常检测框架，即Dinomaly，它利用纯Transformer架构，而不依赖于复杂的设计、附加模块或专门的技巧。给定这个强大的框架，它由注意力和多层感知器组成，我们发现四个简单的组件对于多类异常检测至关重要：（1）基础Transformer提取通用和有区别的特征，（2）噪声瓶颈，预先存在的Dropout执行所有噪声注入技巧，（3）线性注意力自然不能聚焦，（4）松散重构不强制层与层之间和点与点的重构。我们进行了广泛的实验，涵盖了三个流行的异常检测基准，包括MVTec-AD、VisA和最近发布的Real-IAD。我们提出的Dinomaly在这三个数据集上都取得了令人印象深刻的图像AUROC，分别为99.6%、98.7%和89.3%，不仅优于最先进的多类UAD方法，而且超过了最先进的分类分离UAD记录。

本文旨在解决多类别图像异常检测中性能较差的问题，并提出了一种基于Transformer的异常检测框架Dinomaly。

Dinomaly利用Transformer和MLP构建了一个简单而强大的异常检测框架，包括Foundation Transformers、Noisy Bottleneck、Linear Attention和Loose Reconstruction四个组件。

Dinomaly在三个流行的异常检测基准数据集MVTec-AD、VisA和Real-IAD上进行了广泛的实验，取得了极高的图像AUROC，分别为99.6％、98.7％和89.3％，不仅优于现有的多类别UAD方法，而且超过了最先进的类分离UAD记录。

近期的相关研究包括：Deep One-Class Classification、Variational Autoencoder based Anomaly Detection Using Reconstruction Probability和Deep Autoencoding Gaussian Mixture Model等。