Dinomaly: The Less Is More Philosophy in Multi-Class Unsupervised Anomaly Detection

最近的研究强调了无监督异常检测（UAD）的实际设置，该设置为多类图像构建了一个统一模型，作为传统的一类一模型设置的替代方案。尽管有各种各样的进展来解决这一具有挑战性的任务，但在多类设置下的检测性能仍远远落后于最先进的类分离模型。我们的研究旨在弥合这种重大性能差距。在本文中，我们介绍了一种极简的基于重构的异常检测框架，即Dinomaly，它利用纯Transformer架构，而不依赖于复杂的设计、附加模块或专业技巧。鉴于这个由注意力和MLP组成的强大框架，我们发现有四个简单的组件对于多类异常检测是必不可少的：（1）基础Transformer，提取通用和判别特征，（2）有噪声瓶颈，其中预先存在的Dropout执行所有的噪声注入技巧，（3）线性注意力自然不能聚焦，（4）松散重构不强制进行层与层、点与点的重构。我们进行了广泛的实验，包括MVTec-AD、VisA和最近发布的Real-IAD三个流行的异常检测基准。我们提出的Dinomaly在这三个数据集上分别实现了令人印象深刻的图像AUROC，分别为99.6％、98.7％和89.3％，不仅优于最先进的多类UAD方法，而且超过了最先进的类分离UAD记录。

该论文旨在解决多类别异常检测性能落后于单类别模型的问题，提出了一种基于Transformer的最小重构异常检测框架Dinomaly。

Dinomaly利用Transformer架构进行多类别异常检测，包括基础Transformer、嘈杂瓶颈、线性注意力和松散重构四个组件。相比于当前领域的研究，Dinomaly的思路更加简单、纯粹，且不需要复杂的设计、附加模块或专门技巧。

Dinomaly在三个流行的异常检测基准数据集上进行了广泛实验，包括MVTec-AD、VisA和最近发布的Real-IAD。Dinomaly在这三个数据集上的图像AUROC分别达到了99.6％、98.7％和89.3％，不仅优于最先进的多类别异常检测方法，而且超过了最先进的单类别异常检测记录。

最近在这个领域中，还有一些相关的研究，例如《Deep One-Class Classification》、《Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection》等。