本文介绍加拿大麦吉尔大学Hamilton教授团队发表在ICLR2022的一篇论文：NODEPIECE: COMPOSITIONAL AND PARAMETER-EFFICIENT REPRESENTATIONS OF LARGE KNOWLEDGE GRAPHS，该论文提出了一种基于锚的方法来学习固定大小的实体词汇表以促进KG的高效训练。

论文地址：

https://openreview.net/pdf?id=xMJWUKJnFSw

代码地址：

https://github.com/migalkin/NodePiece

传统的知识图表示学习算法（KG）将每个实体映射到唯一的嵌入向量。这种浅查找导致用于存储嵌入矩阵的内存消耗线性增长，并且在使用真实世界KG时产生高计算成本。通过与NLP中常用的子词标记化进行比较，作者探索了更具参数效率的节点嵌入策略。为此，作者提出了NodePiece，一种基于锚的方法来学习固定大小的实体词汇表。在NodePiece中，从具有已知关系类型的图中的锚节点构建子词\子实体单元的词汇表。给定这样一个固定大小的词汇表，可以引导任何实体的编码和嵌入，包括在训练期间看不到的实体。实验表明，NodePiece在节点分类、链接预测和关系预测任务中表现出色，同时在图中保留不到10%的显式节点作为锚，并且通常具有10倍的更少参数。

内容中包含的图片若涉及版权问题，请及时与我们联系删除