Negative Label Guided OOD Detection with Pretrained Vision-Language Models

本文介绍了一种新的后续处理的OOD检测方法，称为NegLabel，旨在识别来自未知类别的样本，对于防止模型在意外输入时出现错误非常重要。在视觉模态下，已经有大量研究致力于探索OOD检测。视觉语言模型（VLM）可以利用文本和视觉信息进行各种多模态应用，但是很少有OOD检测方法考虑来自文本模态的信息。本文提出了一种新的后续处理的OOD检测方法NegLabel，它从广泛的语料库数据库中获取大量负标签。我们设计了一种新的与负标签协作的OOD评分方案。理论分析有助于理解负标签的机制。大量实验证明，我们的NegLabel方法在各种OOD检测基准上实现了最先进的性能，并且在多个VLM架构上具有良好的泛化能力。此外，我们的NegLabel方法展现出对不同领域的转移具有显着的鲁棒性。源代码可在https://github.com/tmlr-group/NegLabel中获得。

本论文旨在解决视觉语言模型中的OOD检测问题，提出一种新的后验检测方法NegLabel，通过利用大量的负标签来提高检测准确率。

NegLabel方法利用大量的负标签来提高OOD检测准确率，与文本模态相结合，设计了一种新的OOD得分计算方案。

论文在多个OOD检测基准上表现出了最先进的性能，并且在多个视觉语言模型结构上具有良好的泛化性能。实验数据集包括CIFAR-10, CIFAR-100, ImageNet等。论文还提供了开源代码。

近年来，OOD检测在计算机视觉领域受到了广泛的关注，已经有很多相关的研究。例如，ODIN、Mahalanobis距离等。