作者：Oleg Vasilyev, John Bohannon

简介：本文研究表达文本向量的新方法：神经嵌入。作者提出了一种自然语言文本嵌入的新方法，用于：深刻地表达语义。不同于：标准文本嵌入使用预训练语言模型的向量输出，在作者的方法中：作者让语言模型从文本中学习，然后从字面上选择它的大脑、取模型神经元的实际权重来生成向量。作者将文本的这种表示称为神经嵌入。据作者所知：这是首次尝试以这种方式获得表示；原则上，该技术不限于文本。该技术可以推广到文本和语言模型之外，但作者首先探讨其在自然语言处理中的特性。作者在多个数据集上比较了神经嵌入和GPT语句（SGPT）嵌入。作者观察到：神经嵌入在小得多的模型中实现了相当的性能，并且不同数据集时误差是不同的。

论文下载：https://arxiv.org/pdf/2208.08386.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除