Towards Continual Knowledge Graph Embedding via Incremental Distillation

传统的知识图谱嵌入（KGE）方法通常需要保留整个知识图谱（KG），当新知识出现时，训练成本显著增加。为了解决这个问题，提出了连续知识图谱嵌入（CKGE）任务，通过有效地学习新出现的知识并同时保留旧知识来训练KGE模型。然而，现有的CKGE方法严重忽略了KG中的显式图结构，而这对于上述目标至关重要。一方面，现有方法通常以随机顺序学习新的三元组，破坏了新KG的内部结构。另一方面，旧的三元组被同等优先级地保留，未能有效缓解灾难性遗忘。本文提出了一种基于增量蒸馏（IncDE）的CKGE竞争性方法，充分利用KG中的显式图结构。首先，为了优化学习顺序，我们引入了一种分层策略，对新的三元组进行逐层学习的排序。通过同时采用层内和层间的顺序，基于图结构特征将新的三元组分组为层。其次，为了有效地保留旧知识，我们设计了一种新颖的增量蒸馏机制，促进了实体表示从前一层到下一层的无缝转移，促进了旧知识的保留。最后，我们采用了两阶段训练范式，避免了新知识训练不足而导致旧知识过度损坏。实验结果表明，IncDE优于现有基线方法。值得注意的是，增量蒸馏机制对平均倒数排名（MRR）分数的提高贡献了0.2％-6.5％。

本文旨在解决知识图谱嵌入方法在新知识出现时需要重新训练整个知识图谱的问题。同时，现有的CKGE方法忽略了知识图谱中的显式图结构，导致新三元组的顺序随机且旧三元组被平等地保留，无法有效减轻灾难性遗忘。

本文提出了一种基于增量蒸馏（IncDE）的竞争性CKGE方法，该方法充分利用了知识图谱中的显式图结构。具体来说，通过引入分层策略，将新三元组分层学习。其次，设计了一种新颖的增量蒸馏机制，促进了实体表示从前一层到下一层的无缝转移，从而有效地保留旧知识。最后，采用了两阶段训练范式，避免了新知识的欠训练对旧知识的过度破坏。

本文的亮点在于增量蒸馏机制，该机制在平均倒数排名（MRR）得分方面提高了0.2％-6.5％。实验结果表明，IncDE优于现有的基线方法。此外，本文使用了多个数据集进行实验，并提供了开源代码。

最近的相关研究包括：《Continual Knowledge Graph Completion with Recurrent Event Network》、《Incremental Knowledge Graph Completion with Multi-Relational Graph Convolutional Networks》等。