Towards Open-World Object-based Anomaly Detection via Self-Supervised Outlier Synthesis

目标检测是计算机视觉中一个至关重要的任务，近年来受到了广泛关注。然而，检测器在训练分布之外定位物体的能力尚未被探索。虽然最近在物体级别的超出分布（OoD）检测方面的方法严重依赖于类标签，但这些方法与真正的开放世界场景相矛盾，因为类分布通常是未知的。在这种情况下，异常检测侧重于检测未见实例，而不是将检测分类为OoD。本研究旨在通过利用开放世界物体检测器和OoD检测器，通过虚拟离群值合成来弥合这一差距。这是通过使用检测器骨干特征首先通过自我监督学习物体伪类来实现的。这些伪类作为异常特征的类条件虚拟离群值采样的基础，由OoD头部对其进行分类。我们的方法使整体物体检测器架构能够学习具有异常感知的特征表示，而不依赖于类标签，从而实现真正的开放世界物体异常检测。我们的方法的实证验证证明了其在包括各种成像模式（可见光、红外线和X射线）的不同数据集上的有效性。此外，我们的方法在物体级别异常检测方面建立了最新技术水平，在自然图像和安全X射线数据集上实现了平均召回率得分提高超过5.4％和23.5％，并且在当前方法失败的数据集中检测到了异常。代码可在https://github.com/KostadinovShalon/oln-ssos获得。

本论文旨在通过利用虚拟异常点合成，结合开放世界目标检测器和OoD检测器，实现无需依赖类别标签的开放世界目标异常检测。

本论文的关键思路是利用自监督学习来学习目标伪类，为基于类别条件的虚拟异常采样提供基础，从而实现对异常特征的分类。

本论文的方法在多个数据集上进行了实验验证，包括可见光、红外线和X射线等多种成像模式。实验结果表明，该方法可以有效地检测到目标级别的异常，并在自然图像和安全X射线数据集上实现了超过5.4%和23.5%的平均召回率提高，同时检测到了其他方法无法检测到的异常情况。此外，本论文还提供了开源代码。

在这个领域中，最近的相关研究包括：1. 'Object Detection in Open World: Are We Ready?' 2. 'Object Detection in the Wild: A Survey' 3. 'Learning to Detect Novel Objects in Imbalanced Datasets'等。