The MVTec AD 2 Dataset: Advanced Scenarios for Unsupervised Anomaly Detection

2025年03月27日
  • 简介
    近年来,现有的异常检测基准测试(如 MVTec AD 和 VisA)在分割 AU-PRO 指标上的表现开始趋于饱和,最先进的模型通常仅在不到一个百分点的范围内竞争。这种缺乏区分能力的情况阻碍了模型之间的有意义比较,从而妨碍了该领域的发展,尤其是在考虑机器学习结果固有的随机性时更是如此。我们推出了 MVTec AD 2,这是一组包含八个异常检测场景的数据集,其中包含超过 8000 张高分辨率图像。它涵盖了之前数据集中未涉及的具有挑战性和高度相关的工业检测应用场景,包括透明和重叠物体、暗场及背光照明、正常数据中具有高变化性的物体以及极小的缺陷。我们对最先进的方法进行了全面评估,并显示这些方法的平均 AU-PRO 表现仍低于 60%。此外,我们的数据集还提供了光照条件变化的测试场景,以评估方法在实际分布偏移下的鲁棒性。我们托管了一个公开可用的评估服务器,其中包含测试集的像素级精确地面真实数据(https://benchmark.mvtec.com/)。所有图像数据可在以下网址获取:https://www.mvtec.com/company/research/datasets/mvtec-ad-2。
  • 图表
  • 解决问题
    论文试图解决当前异常检测领域中由于基准数据集性能饱和而导致的模型对比困难问题。现有的数据集无法有效区分高性能模型,尤其是在分割任务中的AU-PRO指标上表现相近。这是一个需要改进的问题,但并非全新的研究方向。
  • 关键思路
    关键思路是提出一个更具挑战性的工业级异常检测数据集MVTec AD 2,包含超过8000张高分辨率图像和多种复杂场景(如透明物体、重叠物体、光照变化等)。该数据集旨在测试现有模型在更复杂环境下的泛化能力和鲁棒性,同时提供了一个公开评估服务器以促进公平比较。相比现有数据集,MVTec AD 2显著提高了任务难度,并揭示了现有方法的局限性。
  • 其它亮点
    论文通过实验表明,即使是最先进的方法,在新数据集上的平均AU-PRO性能也低于60%,证明了现有模型在复杂场景下的不足。此外,数据集引入了光照条件变化的测试场景,用于评估模型对现实世界分布偏移的适应能力。所有数据和评估工具均已开源,分别位于https://www.mvtec.com/company/research/datasets/mvtec-ad-2 和 https://benchmark.mvtec.com/。未来可以深入研究如何提升模型在极端条件下的性能以及开发新的鲁棒性增强技术。
  • 相关研究
    相关研究包括:1) MVTec AD(原始版本),这是早期的工业异常检测数据集;2) VisA,专注于视觉异常检测的任务;3) 异常检测领域的其他研究如《Learning to Detect Anomalies in High-Dimensional Data》和《Deep One-Class Classification for Anomaly Detection》;4) 针对鲁棒性和分布外检测的研究,例如《Benchmarking Neural Network Robustness to Common Corruptions and Perturbations》。这些工作共同推动了异常检测和鲁棒性分析的发展。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论