LAPT: Label-driven Automated Prompt Tuning for OOD Detection with Vision-Language Models

本文介绍了一种名为标签驱动自动提示调整（LAPT）的新方法，用于减少手动提示工程的需求，从而实现OOD检测。我们使用自动化的方式收集与分布感知提示相关联的训练样本，这些提示使用内部分布（ID）类名称和负标签自动挖掘。 LAPT框架可以自主运行，只需要ID类名称作为输入，无需手动干预。通过大量实验，LAPT始终优于手动制作的提示，并在全光谱OOD检测任务中表现出色。此外，LAPT不仅增强了ID和OOD样本之间的区分度，而且提高了ID分类准确性和强化了对协变量转移的泛化鲁棒性。本文的研究为OOD检测设立了新的标准。

本论文旨在解决视觉语言模型（VLM）在OOD检测中需要手动设计提示的问题，提出了一种自动化的提示调整方法（LAPT）。该方法通过自动化图像合成和检索方法收集与类标签相关的训练样本，使用分布感知提示进行优化，从而减少手动干预，提高模型的鲁棒性。

LAPT框架通过自动化收集与类标签相关的训练样本，使用分布感知提示进行优化，从而减少手动干预，提高模型的鲁棒性。该方法不仅可以提高ID和OOD样本之间的区分度，还可以提高ID分类准确性和泛化鲁棒性。

本文提出了一种自动化的提示调整方法（LAPT），可以减少手动干预，提高模型的鲁棒性；通过自动化图像合成和检索方法收集与类标签相关的训练样本；使用分布感知提示进行优化，并采用交叉模态和交叉分布混合策略来减少图像噪声和探索分布之间的中间空间；在多个数据集上进行了实验，表明LAPT可以在OOD检测任务中优于手动设计的提示；代码已经开源。

在相关研究方面，最近的研究集中在使用VLM进行OOD检测，以及自动化提示调整方法的研究。例如，使用对抗性训练来提高模型的鲁棒性，使用贝叶斯方法来处理OOD样本等。