无监督语义相似度哪家强？

作者｜苏剑林

单位｜追一科技

研究方向｜NLP、神经网络

一月份的时候，笔者写了《你可能不需要 BERT-flow：一个线性变换媲美 BERT-flow》[1]，指出无监督语义相似度的 SOTA 模型 BERT-flow 其实可以通过一个简单的线性变换（白化操作，BERT-whitening）达到。

随后，我们进一步完善了实验结果，写成了论文《Whitening Sentence Representations for Better Semantics and Faster Retrieval》。本文将对这篇论文的内容做一个基本的梳理，并在 5 个中文语义相似度任务上进行了补充评测，包含了 600 多个实验结果。

• 论文标题：Whitening Sentence Representations for Better Semantics and Faster Retrieval

• 论文链接：https://arxiv.org/abs/2103.15316

• 代码链接：https://github.com/bojone/BERT-whitening

感兴趣的可以戳原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除