Attend, Distill, Detect: Attention-aware Entropy Distillation for Anomaly Detection

无监督异常检测在工业环境中具有多种应用，其中高吞吐量和精度至关重要。早期的工作集中于一类一模型的范例，这在大规模生产环境中面临着重大挑战。基于知识蒸馏的多类异常检测承诺具有较低的延迟和相对良好的性能，但与一类版本相比存在显著下降。我们提出了一种分布式卷积注意力模块（DCAM），它可以在多个类别或对象之间存在高方差时改善师生网络之间的蒸馏过程。集成多尺度特征匹配策略，利用两个网络的特征金字塔中的多级知识混合，直观地有助于检测不同大小的异常，这也是多类情况下固有的问题。简而言之，我们的DCAM模块由分布在学生网络的特征图上的卷积注意力块组成，本质上学习在学生学习过程中屏蔽无关信息，从而缓解“跨类干扰”问题。这个过程伴随着使用KL散度在空间维度上最小化相对熵和在相同的特征图之间使用通道余弦相似度。这些损失使得能够实现尺度不变性并捕捉非线性关系。我们还强调，DCAM模块仅在训练过程中使用，而不是在推断过程中使用，因为我们只需要学习到的特征图和损失进行异常评分，从而获得了3.92％的性能提升，同时保持了延迟。

DCAM模块用于改进多类异常检测的知识蒸馏过程中的性能问题。

DCAM模块通过在学生网络的特征图上分布式地应用卷积注意力块，学习在学生学习过程中屏蔽不相关信息，从而提高知识蒸馏的效果。

该模块使用多尺度特征匹配策略，从两个网络的特征金字塔中利用多级别知识的混合，帮助检测不同大小的异常。模块仅在训练过程中使用，不会在推断过程中使用，因此可以提高性能。实验结果表明，相比多类基线，DCAM模块的性能提高了3.92%。

最近的相关研究包括使用知识蒸馏进行异常检测的其他方法，如基于卷积自编码器的方法和基于生成对抗网络的方法。