COOD: Combined out-of-distribution detection using multiple measures for anomaly & novel class detection in large-scale hierarchical classification

高性能的异常和新类别（OOD）检测是分类模型实际应用的重要先决条件。本文关注于物种识别任务中的图像，该任务涉及大型数据库、大量的细粒度层次类别、严重的类别不平衡和变化的图像质量。我们提出了一个框架，使用监督模型将个体OOD度量组合成一个综合OOD（COOD）度量。这些个体度量包括一些现有的最先进度量和一些专门针对新类别检测和层次类别结构开发的新型OOD度量。在异常和新类别检测的背景下，COOD在三个大规模（500k+图像）生物多样性数据集上进行了广泛评估。我们表明，在大多数实验中，COOD在TPR@1% FPR方面明显优于个体OOD度量，包括最先进的度量，例如，在iNaturalist 2018数据集上，将ImageNet图像（OOD）的检测率从54.3%提高到85.4%。SHAP（特征贡献）分析表明，不同的个体OOD度量对于各种任务都是必不可少的，这表明需要多个OOD度量和组合来进行泛化。此外，我们表明，明确考虑对于原始（物种）识别任务分类错误的ID图像对于构建高性能OOD检测方法和实际应用是重要的。该框架可以轻松扩展或适应其他任务和媒体模态。

本论文旨在解决大规模生物多样性图像数据集中的异常和新颖类别检测问题，提出了一种将多个OOD度量组合成一个COOD度量的框架，并在三个大规模生物多样性数据集上进行了广泛评估。

论文的关键思路是将多个现有的OOD度量与几个新颖的OOD度量结合起来，使用监督模型将它们组合成一个COOD度量，并显式考虑到原始识别任务中被错误分类的ID图像，以构建高性能的OOD检测方法。

论文使用大规模生物多样性图像数据集进行实验，证明COOD度量在异常和新颖类别检测方面优于现有的OOD度量，使用了SHAP（特征贡献）分析来说明不同的OOD度量对于不同的任务是必要的，论文的框架易于扩展或适应其他任务和媒介形式。

最近在这个领域中，还有一些相关的研究，例如“Learning Confidence for Out-of-Distribution Detection in Neural Networks”和“Out-of-Distribution Detection using an Ensemble of Self Supervised Leave-Out Classifiers”，但本论文的方法是将多个OOD度量结合起来，显式考虑到错误分类的ID图像，并在大规模生物多样性图像数据集上进行了广泛评估。