CLIP-driven Outliers Synthesis for few-shot OOD detection

Few-shot OOD检测专注于识别在训练期间未见过的类别的超出分布（OOD）图像，仅使用少量有标签的内部分布（ID）图像。到目前为止，主流策略基于大规模视觉语言模型，如CLIP。然而，这些方法忽视了一个关键问题：可靠的OOD监督信息的缺乏，这可能导致ID和OOD之间的边界偏差。为了解决这个问题，我们提出了基于CLIP的异常值合成（CLIP-OS）。首先，CLIP-OS通过新提出的补丁均匀卷积增强了补丁级特征的感知，并通过使用CLIP-surgery-discrepancy自适应地获取ID相关信息的比例，从而实现了ID相关和ID不相关之间的分离。接下来，CLIP-OS通过混合来自不同类别的ID相关特征来合成可靠的OOD数据，以提供OOD监督信息。之后，CLIP-OS利用未知感知提示学习增强ID和OOD之间的可分离性。跨多个基准的广泛实验表明，CLIP-OS实现了卓越的少样本OOD检测能力。

本文试图解决few-shot OOD检测中缺乏可靠OOD监督信息的问题，导致ID和OOD之间的边界存在偏差的问题。

本文提出了一种基于CLIP的Outliers Synthesis (CLIP-OS)方法，通过新提出的补丁均匀卷积来增强补丁级别特征的感知，并通过使用CLIP-surgery-discrepancy自适应地获得ID相关信息的比例，从而实现ID相关和ID不相关之间的分离。接下来，CLIP-OS通过混合来自不同类别的ID相关特征来合成可靠的OOD数据，以提供OOD监督信息。然后，CLIP-OS利用合成的OOD样本通过未知感知提示学习来增强ID和OOD的可分性。

本文的实验结果表明，CLIP-OS在多个基准测试中具有优越的few-shot OOD检测能力。该方法还提供了开源代码和数据集。

最近的相关研究包括：Few-shot OOD检测、基于CLIP的图像分类等。