M3DM-NR: RGB-3D Noisy-Resistant Industrial Anomaly Detection via Multimodal Denoising

现有的工业异常检测方法主要集中在无监督学习与原始RGB图像上。然而，RGB和3D数据对于异常检测都是至关重要的，在实际场景中数据集很少是完全干净的。为了应对上述挑战，本文首先深入研究了RGB-3D多模态噪声异常检测，提出了一种新的抗噪声M3DM-NR框架，以利用CLIP强大的多模态判别能力。M3DM-NR包含三个阶段：第一阶段引入了Suspected References Selection模块，使用初始特征提取提取的多模态特征从训练数据集中过滤出一些正常样本，并引入Suspected Anomaly Map Computation模块，生成可疑的异常地图，以关注异常区域作为参考。第二阶段使用参考样本的可疑异常地图作为参考，并输入图像、点云和文本信息，通过内部模态比较和多尺度聚合操作实现训练样本的去噪。最后，第三阶段提出了点特征对齐、无监督特征融合、噪声判别Coreset选择和决策层融合模块，学习训练数据集的模式，实现异常检测和分割，同时过滤噪声。大量实验证明，M3DM-NR在3D-RGB多模态噪声异常检测方面优于现有的最先进方法。

本论文旨在解决RGB-3D多模态噪声异常检测问题，并提出了一个新的M3DM-NR框架，以利用CLIP的强大多模态判别能力。

M3DM-NR框架分为三个阶段：第一阶段使用Suspected References Selection模块和Suspected Anomaly Map Computation模块从训练数据集中过滤出一些正常样本，并生成疑似异常图以便聚焦于异常区域；第二阶段使用疑似异常图作为参考，通过内部模态比较和多尺度聚合操作对训练样本进行去噪；最后，第三阶段提出了Point Feature Alignment、Unsupervised Feature Fusion、Noise Discriminative Coreset Selection和Decision Layer Fusion模块，以学习训练数据集的模式，实现异常检测和分割并过滤噪声。

论文通过实验表明，M3DM-NR在3D-RGB多模态噪声异常检测方面优于现有的方法。该论文使用多个数据集进行实验，并与其他方法进行比较，同时提供了开源代码。

最近在这个领域中，还有一些相关研究，如《Deep Learning for Anomaly Detection: A Survey》、《3D Point Cloud Anomaly Detection with Adversarial Point Augmentation》等。