IJCAI 2022 | 语言模型用作知识嵌入

知识嵌入（Knowledge Embedding）将知识图谱中的关系和实体嵌入向量空间进行表示。现有工作主要分为两类：传统的基于结构的方法（如TransE）在向量空间建模KG的结构信息，此类方法无法良好地表示真实知识图谱中大量结构信息匮乏的长尾实体；新兴的基于文本的方法（如Kepler）引入额外的文本信息和语言模型， 但该方向的现有工作相较于基于结构的方法存在以下不足，包括效率较低、表现不佳、限制性文本依赖等问题。

知识工场实验室提出了一个将语言模型用作知识嵌入的方法 LMKE，以期在提升长尾实体表示的同时解决现存基于文本方法的以上问题。LMKE 首次提出将基于文本的知识嵌入学习建模在对比学习框架下，显著提升了模型在训练和下游应用中的效率。实验结果表明，LMKE在多个知识嵌入评价基准上取得了超越现有方法的表现，尤其是针对长尾实体。研究成果《Language Models as Knowledge Embeddings》已被IJCAI 2022录用。

论文链接：https://www.ijcai.org/proceedings/2022/0318.pdf