Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking

对比学习因其对手动注释的最小需求而在检索任务中得到了广泛采用。然而，流行的对比框架通常从二元相关性学习，这使它们无法有效地融合直接的细粒度排名。在本文中，我们策划了一个大规模数据集，为每个查询-文档对提供了详细的相关性评分，以便未来的研究和评估。随后，我们提出了广义对比学习多模态检索和排名（GCL），旨在从超越二元相关性分数的细粒度排名中学习。我们的结果表明，相对于基线CLIP并涉及基准排名，GCL在域内实现了94.5％的NDCG@10增长，在冷启动评估中增长了26.3％至48.8％。

本文旨在解决对比学习在检索任务中只能学习二元相关性的问题，无法涵盖直接的细粒度排名。同时，作者提供了一个包含详细相关性评分的大规模数据集，以促进未来的研究和评估。

本文提出了一种名为GCL的广义对比学习方法，旨在学习细粒度排名，而不仅仅是二元相关性得分。相对于基于CLIP模型的基线，GCL在领域内的NDCG@10上实现了94.5%的提高，在冷启动评估中实现了26.3%到48.8%的提高。

本文提供了一个大规模的数据集，其中包含每个查询-文档对的详细相关性评分。同时，作者提出的GCL方法在细粒度排名方面的表现优于当前的对比学习方法。作者还展示了实验结果，证明GCL在检索任务中的有效性。此外，作者还提供了开源代码。

在这个领域中，最近的相关研究包括：《Contrastive Learning for Unpaired Image-to-Image Translation》、《Unsupervised Feature Learning via Non-parametric Instance-level Discrimination》等。