计算句子嵌入，在实践中，无监督方式对自然语言匹配和检索问题很有用。在这项工作中，我们对基于预训练模型的无监督句子嵌入进行了全面检查。我们研究四个预训练模型，并在七个关于句子语义的数据集上进行大规模实验。我们有主要发现：一，平均所有字符向量比仅使用[CLS]字符向量效果更好；二，结合顶层和底层比仅使用顶层更好；最后，利用一个简单的基于白化方法，用少于10行的归一化策略代码段提高性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除