Cross-Modal Distillation in Industrial Anomaly Detection: Exploring Efficient Multi-Modal IAD

最近关于基于点云和RGB图像的多模态工业异常检测（IAD）的研究表明，利用模态之间的冗余和互补性对于准确的分类和分割非常重要。然而，在实际生产线上实现多模态IAD仍然需要考虑引入新模态所涉及的成本和收益之间的权衡，同时确保与当前流程的兼容性。将快速在线检查与耗时的高分辨率近线特征化技术相结合，以提高检测准确性，非常适合现有的质量控制流程，但只能对部分样本使用昂贵的近线方法进行测试。因此，模型必须具有利用多模态训练和处理推理期间不完整模态的能力。一种解决方案是生成跨模态幻觉，以解决缺失模态问题之间的模态之间的知识转移。在本文中，我们提出了CMDIAD，一种用于IAD的跨模态蒸馏框架，以展示多模态训练，少模态推理管道的可行性。此外，我们还研究了使用点云或RGB图像作为推理主模态时性能改进不对称的原因。这为我们未来的多模态数据集构建打下了基础，以实现从制造场景中高效的IAD。

本论文旨在解决多模态工业异常检测（IAD）中存在的问题，即如何在保证成本效益的前提下，利用多模态训练并在推理时处理不完整的模态。

本论文提出了CMDIAD框架，即一种用于IAD的跨模态蒸馏框架，以展示多模态训练、少模态推理的可行性。同时，通过生成跨模态幻觉来解决缺失模态的问题。

论文设计了实验来验证CMDIAD框架的有效性，并探讨了使用点云或RGB图像作为主要模态时性能提升不对称的原因。此外，论文还提到了未来构建高效IAD多模态数据集的基础。

与本论文相关的研究包括：1.基于多模态融合的IAD方法研究；2.使用生成对抗网络（GAN）来处理缺失模态的研究。