Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity

语义文本相似度（STS）是计算语言学中一个关键的研究方向，也是嵌入模型编码能力的重要指标。在预训练语言模型和对比学习技术的推动下，领先的句子表示方法已经在SentEval的七个STS基准测试中取得了平均Spearman相关系数约为86的成绩。然而，进一步的提高已经变得越来越小，没有任何现有的方法能够在这些任务中获得高于87的平均分数。本文对此现象进行了深入分析，并得出结论：使用对比学习的Spearman相关系数得分的上限为87.5。为了突破这个上限，我们提出了一种创新的方法，称为Pcc-tuning，它采用皮尔逊相关系数作为损失函数，以超越对比学习的模型性能。实验结果表明，Pcc-tuning显著超越了以前的最先进策略，将Spearman相关系数提高到90以上。

论文旨在提高句子表示方法在语义文本相似度（STS）任务中的性能，探究当前方法的性能上限，并提出一种新的方法以超越这个上限。

论文提出了一种新的方法，称为Pcc-tuning，该方法使用皮尔逊相关系数作为损失函数，以进一步提高模型在STS任务中的性能。

论文中使用了预训练语言模型和对比学习技术，并在七个STS基准测试中获得了平均Spearman相关系数约为86的成绩。该论文还提出了一个性能上限为87.5的结论，并通过Pcc-tuning方法将Spearman相关系数提高到90以上。实验结果表明，Pcc-tuning方法显著优于之前的最先进策略。

最近的相关研究包括：BERT、RoBERTa、XLNet等预训练语言模型在STS任务中的应用研究，以及对比学习技术在自然语言处理中的研究。