Unified Anomaly Detection methods on Edge Device using Knowledge Distillation and Quantization

随着深度学习和智能制造在工业4.0中的快速发展，高吞吐量、高性能和完全集成的视觉检测系统已成为必要。大多数使用缺陷检测数据集（如MVTec AD）的异常检测方法采用单类模型，需要为每个类别拟合单独的模型。相反，统一模型消除了为每个类别拟合单独模型的需要，显著降低了成本和内存要求。因此，在这项工作中，我们尝试考虑使用统一的多类别设置。我们的实验研究表明，多类模型在标准MVTec AD数据集上的表现与单类模型相当。因此，这表明当物体类别之间显著不同时，可能没有必要学习单独的物体/类别模型。此外，我们在CPU和边缘设备（NVIDIA Jetson Xavier NX）上部署了三种不同的统一轻量级架构。我们分析了量化的多类异常检测模型在边缘设备上部署时的延迟和内存需求，并比较了量化感知训练（QAT）和训练后量化（PTQ）在不同精度宽度下的性能。此外，我们探讨了后训练场景中所需的两种不同的校准方法，并显示其中一种表现明显更好，凸显了其在无监督任务中的重要性。由于量化，PTQ中的性能降低进一步得到QAT的补偿，在两个考虑的模型中，QAT的性能与原始的32位浮点数相当。

本文试图探究采用统一多类模型进行缺陷检测的可行性，并在CPU和边缘设备上部署轻量级模型，分析量化多类异常检测模型在不同精度下的性能表现。

本文提出采用统一多类模型进行缺陷检测，避免为每个类别单独拟合模型的成本和内存需求，并在MVTec AD数据集上进行实验，表明多类模型的性能与单类模型相当。在CPU和边缘设备上部署三种不同的轻量级模型，并比较量化感知训练（QAT）和训练后量化（PTQ）在不同精度下的性能表现。

本文的亮点在于提出了采用统一多类模型进行缺陷检测的思路，并在实验中验证了其可行性。同时，作者还部署了三种不同的轻量级模型，并比较了QAT和PTQ在不同精度下的性能表现。此外，本文还探讨了在训练后场景中所需的两种不同校准方法，并表明其中一种方法的表现明显更好。

在相关研究中，最近的一些工作包括使用深度学习进行缺陷检测，采用单类模型和多类模型等。其中一些论文包括《Deep Learning for Defect Detection: A Survey》和《Multi-class Classification with Deep Learning for Defect Detection in Advanced Manufacturing》等。