Training-Free Unsupervised Prompt for Vision-Language Models

近来，无监督的提示调整方法，如UPL和POUF，直接利用伪标签作为监督信息，在未标记的数据上微调额外的适应模块。然而，不准确的伪标签很容易误导调整过程，导致表示能力差。基于此，我们提出了Training-Free Unsupervised Prompts (TFUP)，以最大程度地保留固有的表示能力，并通过与训练无关和无标签的方式将其与基于相似度的预测概率进行残差连接来增强表示能力。具体而言，我们整合了实例置信度和原型得分来选择代表性样本，用于定制可靠的Feature Cache Model (FCM)进行无需训练的推理。然后，我们设计了一个多级相似度测量(MSM)，考虑特征级和语义级相似度，计算每个测试图像与缓存样本之间的距离作为相应缓存标签的权重，生成基于相似度的预测概率。通过这种方式，TFUP在多个分类数据集上实现了惊人的性能，甚至超过了基于训练的方法。基于我们的TFUP，我们提出了一个基于训练的方法（TFUP-T），以进一步提高适应性能。除了标准的交叉熵损失外，TFUP-T采用了额外的边缘分布熵损失，从全局角度约束模型。我们的TFUP-T在多个基准测试中相对于无监督和少样本适应方法实现了新的最先进的分类性能。特别是，在最具挑战性的Domain-Net数据集上，TFUP-T将POUF的分类准确率提高了3.3%。

论文旨在解决使用伪标签进行无监督prompt fine-tuning时，伪标签不准确导致调整过程失效的问题。

论文提出了一种新的无需训练的无监督prompt fine-tuning方法TFUP，通过整合实例置信度和原型分数来选择代表性样本，并使用多级相似度度量来计算测试图像与缓存样本之间的距离，生成基于相似度的预测概率。

实验结果表明，TFUP在多个分类数据集上表现出色，甚至超过了基于训练的方法。此外，基于TFUP的训练方法TFUP-T还采用了额外的边缘分布熵损失来提高适应性能，并在多个基准测试中取得了新的最佳分类性能。

与本文相关的研究包括使用伪标签的无监督prompt调整方法UPL和POUF，以及其他基于相似度的方法如SIMPLE和S2M2等。