Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection

随着ImageNet预训练教师模型和可学习的学生模型之间知识蒸馏的广泛应用，工业异常检测在过去几年中取得了显著的成就。知识蒸馏的成功主要取决于如何保持教师和学生模型之间的特征差异，其中它假定：（1）教师模型可以共同表示正常和异常模式的两个不同分布，而（2）学生模型只能重建正常分布。然而，在实践中保持这些理想假设仍然是一个具有挑战性的问题。本文提出了一个简单而有效的两阶段工业异常检测框架AAND，它依次执行异常放大和正常蒸馏以获得强大的特征差异。在第一阶段的异常放大中，我们提出了一种新颖的残差异常放大（RAA）模块来改进预训练教师编码器。通过暴露合成异常，它通过残差生成放大异常，同时保持预训练模型的完整性。它主要包括一个匹配引导的残差门和一个属性缩放的残差生成器，可以分别确定残差的比例和特征。在第二阶段的正常蒸馏中，我们进一步采用反向蒸馏范式来训练学生解码器，其中建立了一种新颖的硬知识蒸馏（HKD）损失，以更好地促进正常模式的重建。在MvTecAD、VisA和MvTec3D-RGB数据集上的综合实验表明，我们的方法达到了最先进的性能。

本论文旨在解决工业异常检测中知识蒸馏的问题，即如何在教师模型和学生模型之间保持特征差异，以便学生模型能够准确地识别异常模式。

本文提出了一种名为AAND的工业异常检测框架，分为两个阶段：异常放大和正常性蒸馏。在异常放大阶段，使用新颖的残差异常放大模块来增强预训练的教师编码器，并通过生成残差来放大异常。在正常性蒸馏阶段，使用反向蒸馏范式来训练学生解码器，使用Hard Knowledge Distillation（HKD）损失来更好地促进正常模式的重构。

本文的实验使用了MvTecAD、VisA和MvTec3D-RGB数据集，并表明该方法在工业异常检测任务中取得了最先进的性能。该方法的亮点包括：使用新颖的残差异常放大模块来增强教师编码器；使用反向蒸馏范式来训练学生解码器；使用Hard Knowledge Distillation（HKD）损失来更好地促进正常模式的重构。

在工业异常检测领域，还有一些相关的研究，例如：《Deep One-Class Classification with Conditional Generative Adversarial Networks》、《Enhancing Deep Anomaly Detection with Unsupervised Feature Learning》等。