Learning from True-False Labels via Multi-modal Prompt Retrieving

弱监督学习最近在降低注释成本和标签噪声方面取得了相当大的成功。不幸的是，现有的弱监督学习方法在通过预训练的视觉语言模型（VLMs）生成可靠标签方面能力不足。在本文中，我们提出了一种新的弱监督标记设置，即真假标签（TFLs），可以通过VLMs生成时达到高精度。TFL表示实例是否属于标签，该标签是从候选标签集中随机均匀抽样的。具体而言，我们理论上推导出了一个风险一致的估计器，以探索和利用TFL的条件概率分布信息。此外，我们提出了一种基于卷积的多模态提示检索（MRP）方法，以弥合VLM的知识与目标学习任务之间的差距。实验结果证明了所提出的TFL设置和MRP学习方法的有效性。复现实验的代码位于https://github.com/Tranquilxu/TMP。

论文提出了一种新的弱监督标注设置（True-False Labels，TFLs），以解决现有弱监督学习方法在利用预训练视觉-语言模型（VLMs）生成可靠标签方面的不足。

通过利用TFLs的条件概率分布信息，论文提出了一种风险一致的估计器，并提出了一种基于卷积的多模态提示检索（MRP）方法，以弥合VLMs知识和目标学习任务之间的差距。

论文的实验结果表明，TFL设置和MRP学习方法的有效性。论文提供了可以复现实验的代码，位于https://github.com/Tranquilxu/TMP。

最近的相关研究包括：1）基于弱监督学习的标签噪声下的深度神经网络优化；2）基于视觉-语言模型的图像分类；3）基于视觉-语言模型的多模态学习。