论文标题：

Pairwise Supervised Contrastive Learning of Sentence Representations

论文链接：

https://arxiv.org/abs/2109.05424 

摘要

近期句子表示学习的成功主要是通过对 NLI 数据集上用 triplet 或者 siamese 损失进行微调实现性能提升。然而，这些方法存在一个共同的缺点：一对矛盾中的句子不一定来自不同的语义类别。因此，仅仅优化推理蕴含和矛盾的目标函数是无法充分抓取高阶语义特征的，也就是无法对更细粒度的语义进行表示。这个缺点是由于 triplet 或者 siamese 损失只能从单个的句子对或三元组中学习，从而导致糟糕的局部最最优解。

本文提出 PairSupCon，一种基于实例鉴别学习的方法来对低阶语义（蕴含矛盾推理）到高阶语义之间的联系。PairSupCon 在多个包含不同句子语义粒度的下游任务进行评估，并取得明显的性能提升（聚类任务提升 10% 以上精度，STS 任务提升 5% 以上精度）。

模型结构如 Fig2 所示，整体框架较为简单，输入为句子对，经过一个共享参数的特征编码器得到句子对表示，然后将句子对表示联合优化实例鉴别 h 和蕴含矛盾分类 f。具体的数据集输入形式如 Fig2(b) 所示。

内容中包含的图片若涉及版权问题，请及时与我们联系删除