Let Go of Your Labels with Unsupervised Transfer

基于视觉和语言的预训练模型已经实现了在各种下游任务中惊人的零样本可迁移性。然而，为了解决一个新任务，零样本迁移仍然需要人类指导来定义出现在数据中的视觉类别。在这里，我们展示了当搜索数据集的标签以在不同基础模型的表示空间中诱导最大间隔分类器时，完全无监督的迁移会出现。我们提出了TURTLE，一种完全无监督的方法，有效地利用这一指导原则，发现下游数据集的潜在标签，无需任何监督和任务特定的表示学习。我们在一个多样化的基准测试套件中评估了TURTLE，并展示了它实现了新的无监督性能最佳表现。此外，尽管完全无监督，TURTLE在各种数据集上的表现优于零样本迁移基线。特别是，TURTLE通过使用相同的表示空间，跨越各种体系结构和模型大小，与CLIP零样本在26个数据集上的平均表现相当。通过使用两个基础模型的表示空间指导寻找潜在标签，TURTLE超越了零样本迁移和无监督提示调整基线，展示了无监督迁移的惊人力量和有效性。

本文试图解决的问题是在没有人类指导下，如何实现零监督的迁移学习，自动发现下游数据集的标签。这是一个新问题。

本文提出了一种名为TURTLE的方法，通过在不同基础模型的表示空间中搜索最大间隔分类器来寻找下游数据集的标签。这种方法是完全无监督的，不需要任务特定的表示学习。

本文在26个数据集上评估了TURTLE的性能，并展示了其新颖的无监督迁移学习方法的有效性。本文还展示了TURTLE在各种数据集上的表现优于零-shot迁移和无监督提示调整基线。本文的方法是基于两个基础模型的表示空间进行标签搜索，这种方法的效果超出了预期。

最近的相关研究包括使用自监督方法进行无监督迁移学习，以及使用零-shot学习进行迁移学习。相关论文包括《Unsupervised Learning of Visual Features by Contrasting Cluster Assignments》和《Zero-shot Learning via Semantic Similarity Embedding》。