Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection

在开放世界场景中部署机器学习模型时，检测出分布外（OOD）样本是必要的。随着视觉语言模型（如CLIP）的出现，零样本OOD检测不需要在分布内（ID）数据上进行训练，已经成为可能。现有的方法仅使用封闭集标签构建基于文本的分类器。然而，这在很大程度上限制了CLIP识别来自大型和开放标签空间的样本的固有能力。本文提出了一种利用大型语言模型（LLM）的专业知识和推理能力来预测潜在的异常样本，称为Envision potential Outlier Exposure（EOE）的方法，而不需要访问任何实际的OOD数据，以解决这一限制。由于更好地适应开放世界场景，EOE可以推广到不同的任务，包括远程、近程和细粒度OOD检测。从技术上讲，我们设计了（1）基于视觉相似性的LLM提示来生成专门用于OOD检测的潜在异常类标签，以及（2）基于潜在异常罚分的新得分函数，以有效区分难以检测的OOD样本。实证上，EOE在不同的OOD任务上实现了最先进的性能，并且可以有效地扩展到ImageNet-1K数据集。代码公开在 https://github.com/tmlr-group/EOE。

本篇论文旨在解决在开放世界场景中部署机器学习模型时，检测到未知样本的问题。尤其是通过利用大型语言模型的专业知识和推理能力来实现零样本检测。

论文提出了一种名为EOE的方法，通过利用大型语言模型的专业知识和推理能力，生成专门用于OOD检测的潜在异常类标签，并提出了一种基于潜在异常惩罚的新评分函数，以有效区分困难的OOD样本。

论文的实验表明，EOE在不同的OOD任务中取得了最先进的性能，并且可以有效地扩展到ImageNet-1K数据集。此外，论文还公开了代码。

最近的相关研究包括使用CLIP进行零样本OOD检测的方法，以及使用深度生成模型进行OOD检测的方法。