学习句向量的方案大致上可以分为无监督和有监督两大类，其中有监督句向量比较主流的方案是 Facebook 提出的“InferSent” [1]，而后的“Sentence-BERT” [2] 进一步在 BERT 上肯定了它的有效性。然而，不管是 InferSent 还是 Sentence-BERT，它们在理论上依然相当令人迷惑，因为它们虽然有效，但存在训练和预测不一致的问题，而如果直接优化预测目标 cos 值，效果往往特别差。

最近，笔者再次思考了这个问题，经过近一周的分析和实验，大致上确定了 InferSent 有效以及直接优化 cos 值无效的原因，并提出了一个优化 cos 值的新方案 CoSENT（Cosine Sentence）。实验显示，CoSENT 在收敛速度和最终效果上普遍都比 InferSent 和 Sentence-BERT 要好。
实验代码：https://github.com/bojone/CoSENT

内容中包含的图片若涉及版权问题，请及时与我们联系删除