【标题】Multiresolution Knowledge Distillation for Anomaly Detection
【作者团队】Mohammadreza Salehi, Niousha Sadjadi, Soroosh Baselizadeh, Mohammad Hossein Rohban, Hamid R. Rabiee 【发表时间】2020/11/22 【论文链接】https://arxiv.org/pdf/2011.11108.pdf 【参考链接】https://github.com/Niousha12/KnowledgeDistillationAD. 【推荐理由】 本文将无异常数据的中间知识经"ImageNet"预先训练的专家网络 “蒸馏”到更简单的克隆网络中，进而对新的输入数据使用专家和克隆网络的中间激活值之间的差异来检测和定位异常。 无监督表示学习已被证明是图像中异常检测/定位的关键组成部分。学习这种表达形式的挑战是双重的。首先，样本量通常不足以通过常规技术来学习丰富的可概括表示。其次，虽然只有正常样本可用于训练，但是学习到的特征应区分正常样本和异常样本。基于此，本文提出使用在ImageNet上经过预训练的专家网络各个层上的功能“提取”到一个更简单的克隆网络中以解决这两个问题。本文使用给定输入数据的专家和克隆网络的中间激活值之间的差异来检测和定位异常。研究表明，与考虑到蒸馏中的多个中间提示，与仅利用最后一层激活值相比，可以更好地利用专家的知识和更具特色的差异。值得注意的是，先前的方法要么无法精确定位异常，要么需要昂贵的基于区域的训练。相比之下，本文提出的方法不需要任何特殊的或强化的训练程序，就将可解释性算法纳入了用于异常区域定位的新颖框架中。尽管某些测试数据集和ImageNet之间存在显著对比，但与MNIST，F-MNIST，CIFAR-10，MVTecAD，Retinaal-OCT和两个Medical数据集上的SOTA方法相比，我们在异常检测和定位方面均取得了竞争性或明显优越的结果。 图1 ： 基于多分辨率知识蒸馏的异常检测网络整体结构

内容中包含的图片若涉及版权问题，请及时与我们联系删除