【论文标题】A Bilingual Generative Transformer for Semantic Sentence Embedding 【作者团队】John Wieting, Graham Neubig, and Taylor Berg-Kirkpatrick 【发表时间】EMNLP 2020 【论文链接】https://www.aclweb.org/anthology/2020.emnlp-main.122.pdf 【公开代码】https://www.cs.cmu.edu/~jwieting 【推荐理由】本文提出一种全新的深度隐变量句子嵌入模型，将句子编码成向量，并在隐空间中进行解耦，分离处句子的共同点。在benchmak上均取得很好的效果。 语义句子嵌入模型将自然语言句子编码成向量，嵌入空间的紧密性表明句子之间语义的紧密性。双语数据为学习这种嵌入提供了一个有用的信号：在翻译对中，两个句子共享的属性可能是语义的，而不同的属性可能是文体或语言特定的。本文提出了一个深层隐变量模型，试图对平行句进行源分离，分离出它们在潜在语义向量中的共同点，并解释语言特定的潜在向量所留下的东西。文中提出的方法不同于以往的语义句子编码方法。首先，利用变分概率框架，文中引入了鼓励源分离的先验知识，并且可以利用模型的后验来预测测试时单语数据的句子嵌入。其次，文中使用大容量变压器作为数据生成分布和推理网络。

与过去大多数关于句子嵌入的研究相比。在实验中，文中的方法在一套标准的无监督语义相似度评估上大大优于现有的方法。此外，作者证明，文中的方法在这些评估的较难子集上产生最大的收益，其中简单的单词重叠不是一个很好的相似性指标。

内容中包含的图片若涉及版权问题，请及时与我们联系删除