AnomalyXFusion: Multi-modal Anomaly Synthesis with Diffusion

异常合成是增强异常样本训练的有效方法之一。然而，目前的异常合成方法主要依赖于纹理信息作为输入，这限制了合成异常样本的保真度。因为纹理信息不足以正确描述异常的模式，特别是对于逻辑异常。为了克服这个障碍，我们提出了AnomalyXFusion框架，旨在利用多模态信息提高合成异常样本的质量。AnomalyXFusion框架包括两个不同但协同的模块：多模态融合（MIF）模块和动态扩散（DDF）模块。MIF模块通过聚合和整合各种模态特征到一个统一的嵌入空间中，称为X-embedding，包括图像、文本和掩码特征，来改进模态对齐。同时，DDF模块通过调整X-embedding的扩散步骤来促进可控制的生成。此外，为了揭示AnomalyXFusion的多模态表征能力，我们提出了一个新的数据集，称为MVTec Caption。更确切地说，MVTec Caption扩展了MVTec AD和LOCO数据集的2.2k个准确的图像-掩码-文本注释。全面的评估证明了AnomalyXFusion的有效性，特别是对于逻辑异常的保真度和多样性。项目页面：http:github.com/hujiecpp/MVTec-Caption。

AnomalyXFusion试图解决当前异常合成方法主要依赖纹理信息，难以准确描述逻辑异常的问题。

AnomalyXFusion框架利用多模态信息增强异常样本的质量，包括Multi-modal In-Fusion (MIF)模块和Dynamic Dif-Fusion (DDF)模块。MIF模块将各种模态特征聚合和整合到一个统一的嵌入空间中，称为X嵌入，包括图像、文本和掩模特征。同时，DDF模块通过对X嵌入进行自适应调整，实现了可控的生成。

论文提出了一个新的数据集MVTec Caption，扩展了MVTec AD和LOCO数据集的2.2k精确图像-掩模-文本注释。实验结果表明，AnomalyXFusion在逻辑异常的保真度和多样性方面具有很好的效果。

在这个领域中，最近的相关研究包括：1. MVTec AD数据集和基于Autoencoder的异常检测方法；2. 基于生成对抗网络的异常检测方法，如GANomaly和AnoGAN。