CLIP3D-AD: Extending CLIP for 3D Few-Shot Anomaly Detection with Multi-View Images Generation

少样本异常检测方法可以有效解决工业场景中的数据收集难题。与2D少样本异常检测（2D-FSAD）相比，3D少样本异常检测（3D-FSAD）仍然是一个未被探索但必不可少的任务。本文提出了CLIP3D-AD，一种基于CLIP的高效3D-FSAD方法。我们成功地将CLIP的强大泛化能力转移到3D-FSAD中。具体而言，我们在给定的正常图像上合成异常图像作为样本对，以适应CLIP用于3D异常分类和分割。对于分类，我们引入了一个图像适配器和一个文本适配器来微调全局视觉特征和文本特征。同时，我们提出了一个粗到细的解码器来融合和促进CLIP的中间多层视觉表示。为了从点云的几何信息中获益，并消除CLIP处理时的模态和数据差异，我们将点云投影和渲染为多视角的正常和异常图像。然后，我们设计了多视角融合模块来融合CLIP提取的多视角图像的特征，这些特征用于促进视觉表示，进一步增强视觉语言相关性。广泛的实验表明，我们的方法在MVTec-3D AD数据集上具有竞争力的3D少样本异常分类和分割性能。

论文探索3D few-shot anomaly detection (3D-FSAD)这一未被充分开发的任务，提出了一种基于CLIP的有效方法CLIP3D-AD，旨在解决工业场景中数据采集的难题。

CLIP3D-AD将CLIP的强大泛化能力转化为3D-FSAD的泛化能力。通过在给定正常图像上合成异常图像，将CLIP适应于3D异常分类和分割。

论文提出了一种多视图融合模块，将CLIP提取的多视图图像特征融合，以进一步增强视觉-语言相关性。在MVTec-3D AD数据集上进行了广泛的实验，证明了CLIP3D-AD在3D few-shot异常分类和分割方面具有竞争力的性能。

最近的相关研究包括：Few-shot learning、Anomaly detection、CLIP等。