To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models

多义性和同义性是词汇歧义的两个重要且相互关联的方面。虽然这两个现象在自然语言处理中已经得到了广泛的研究，导致了专门的系统的出现，但它们通常被独立地考虑。虽然许多处理多义性的任务（例如词义消歧或诱导）强调了一个词的意义的作用，但同义词的研究则根源于概念的研究，即跨词汇表共享的意义。在本文中，我们介绍了概念诱导，这是一项无监督的任务，即从数据中直接学习定义一组概念的单词的软聚类。这个任务是词义诱导任务的推广。我们提出了一个双层方法来诱导概念，利用本地的词元中心视角和全局的跨词汇表视角。我们在SemCor的注释数据上评估所得到的聚类，并获得了良好的性能（BCubed F1在0.60以上）。我们发现，在我们的设置中，本地层和全局层相互有利于诱导概念和意义。最后，我们创建了代表我们诱导的概念的静态嵌入，并在上下文任务中使用它们，获得了与现有技术的竞争性表现。

本论文提出了概念归纳的任务，旨在从数据中学习一组定义概念的软聚类，以解决多义词和同义词的问题。

本文提出了一种双层方法，结合局部词元中心视图和全局跨词汇视图来归纳概念。同时，将所得到的聚类用于词汇语境任务，取得了与现有技术相媲美的表现。

本文提出了一个新的任务，即概念归纳，可以同时解决多义词和同义词问题。所提出的双层方法在SemCor数据集上获得了良好的表现。同时，所得到的聚类还可以用于词汇语境任务，并取得了与现有技术相媲美的表现。

与本文相关的研究包括词义消歧和词义归纳。