DefSent+: Improving sentence embeddings of language models by projecting definition sentences into a quasi-isotropic or isotropic vector space of unlimited dictionary entries

本文提出了一个重要的改进，它是之前称为DefSent的会议论文的改进版。先前的研究旨在通过将定义句子投影到字典词条的向量空间中来改进语言模型的句子嵌入。我们发现，由于使用语言模型的词嵌入来表示字典词条的方法论限制，这种方法并没有完全被探索。这导致了两个障碍。首先，字典词条受单词词汇的限制，因此无法充分利用。其次，语言模型的语义表示是已知的各向异性的，但对DefSent进行预处理词嵌入是不允许的，因为它的权重在训练期间被冻结并绑定到预测层。在本文中，我们提出了一种新方法来逐步构建不受限制的词条嵌入。因此，定义句子可以投影到无限制的字典词条的准各向同性或各向同性向量空间中，从而可以获得明显更好的句子嵌入质量。我们将我们的方法缩写为DefSent+（DefSent的加强版），包括以下优点：1）与DefSent相比，测量句子相似性的任务性能显著提高；2）当DefSent+用于进一步训练数据增强模型，如SIMCSE和SNCSE时，可以在不使用手动标记数据集的方法中实现测量句子相似性的最先进性能；3）DefSent+在基于特征的NLP下游任务的转移方面也具有竞争力。

论文试图通过解决使用语言模型的词向量来表示字典条目的方法论限制，提高句子嵌入的质量。

论文提出了一种新方法，通过逐步构建不受限制的条目嵌入来实现对定义句子的投影，从而在无限制的字典条目向量空间中实现句子嵌入的显著质量提升。

论文提出的方法在衡量句子相似性方面表现显著优于之前的方法。在使用数据增强模型进行进一步训练时，可以在不使用手动标记数据集的情况下实现衡量句子相似性的最先进性能。此外，论文还在NLP下游任务的特征转移方面表现出竞争力。

最近在该领域的相关研究包括：DefSent。