Dual-Adapter: Training-free Dual Adaptation for Few-shot Out-of-Distribution Detection

我们研究了少样本的域外检测问题，该问题旨在仅使用少量标记的域内样本，在推理时检测未见过的类别的域外样本。现有方法主要集中在训练用于域外检测的任务感知提示上。然而，对少量样本进行训练可能会导致严重的过拟合，仅使用文本提示可能不足以实现有效的检测。为了解决这些问题，我们提出了一种基于先验的无需训练的双适配方法（Dual-Adapter），从文本和视觉两个角度检测域外样本。具体而言，Dual-Adapter首先提取最重要的通道作为正特征，并将其余不相关的通道指定为负特征。然后，它从双重角度构建正适配器和负适配器，从而更好地利用训练数据集中之前被忽视或干扰的特征。通过这种方式，Dual-Adapter可以继承CLIP无需训练的优点，同时在区分ID和OOD样本方面表现出色。对四个基准数据集的广泛实验结果证明了Dual-Adapter的优越性。

解决问题：本论文旨在解决少样本领域外检测（OOD detection）问题，即如何在推理时仅使用少量标记的领域内（ID）样本来检测来自未见过类别的OOD样本。现有方法主要集中在训练面向任务的提示（task-aware prompts）来进行OOD检测，但是在少样本数据上训练可能会导致严重的过拟合，而仅仅依靠文本提示可能不足以实现有效的检测。

关键思路：本论文提出了一种基于先验的无需训练的双适配器方法（Dual-Adapter），从文本和视觉两个角度来检测OOD样本。具体来说，Dual-Adapter首先提取最显著的通道作为正特征，并将其余不相关的通道指定为负特征。然后，它从双重角度构建正适配器和负适配器，从而更好地利用训练数据集中先前被忽视或干扰的特征。这样，Dual-Adapter既可以继承CLIP无需训练的优点，又能在区分ID和OOD样本方面表现出色。

其他亮点：本论文在四个基准数据集上进行了广泛的实验，证明了Dual-Adapter的优越性。实验结果表明，与现有的方法相比，Dual-Adapter在检测OOD样本方面具有更好的性能。此外，本论文的代码已经公开，并且提供了详细的实验设置和结果分析。值得进一步研究的工作包括如何将Dual-Adapter应用于其他任务和领域，以及如何进一步提高其性能。

相关研究：目前，针对OOD检测问题的研究比较活跃。例如，一些研究人员提出了使用生成对抗网络（GAN）来生成OOD样本以进行训练的方法。另外，还有一些研究人员提出了使用置信度度量（confidence measure）来进行OOD检测的方法。例如，ODIN、Mahalanobis距离等方法。