【论文标题】SimCSE: Simple Contrastive Learning of Sentence Embeddings

【对比学习】SimCSE：句子嵌入的简单对比学习

【论坛网址】[https://hub.baai.ac.cn/view/7760]( https://hub.baai.ac.cn/view/7760)

【作者团队】Tianyu Gao, Xingcheng Yao, Danqi Chen

【机构】普林斯顿大学，清华大学

【发表时间】2021/4/18

【论文链接】[https://arxiv.org/pdf/2104.08821.pdf](https://arxiv.org/pdf/2104.08821.pdf)

【代码链接】[https://github.com/princeton-nlp/SimCSE]( https://github.com/princeton-nlp/SimCSE)

【推荐理由】

   来自普林斯顿大学&清华大学的热门学术导师陈丹琦组提出一种简单的对比学习框架提高了句子嵌入的质量。

   本文首先提出了一种无监督方法采用句子作为输入并使用对比目标函数中进行预测，其中只使用dropout作为噪声输入（如图a）。这种简单的方法效果非常好，可以与之前监督学习方法相媲美。作者假设dropout作为最小的数据增强，将其删除会导致表示崩溃。然后，作者从自然语言推理数据集学习句子嵌入的最新做法中汲取灵感，并通过使用“蕴涵”对作为正样本和”矛盾“对作为负样本，将自然语言推理数据集的注释对纳入对比学习。

内容中包含的图片若涉及版权问题，请及时与我们联系删除