KG-FIT: Knowledge Graph Fine-Tuning Upon Open-World Knowledge

知识图谱嵌入（KGE）技术在学习知识图谱内实体和关系的紧凑表示方面非常重要，有助于有效的推理和知识发现。现有方法通常专注于仅基于图结构训练KGE模型或使用KG中的分类数据微调预训练语言模型，而KG-FIT利用LLM指导下的精炼来构建实体聚类的语义一致的层次结构。通过在微调过程中结合这种层次知识以及文本信息，KG-FIT有效地捕捉了LLM的全局语义和KG的局部语义。在基准数据集FB15K-237、YAGO3-10和PrimeKG上的广泛实验表明，KG-FIT优于基于最先进的预训练语言模型的方法，在链接预测任务的Hits@10指标上分别取得了14.4%、13.5%和11.9%的改进。此外，与构建KG-FIT的基于结构的基准模型相比，KG-FIT显著提高了12.6%、6.7%和17.7%的性能。这些结果突显了KG-FIT在将LLMs的开放世界知识融入到KG嵌入中以显著增强表达能力和信息量方面的有效性。

本文旨在通过KG-FIT技术学习知识图谱中实体和关系的紧凑表示，以便于有效的推理和知识发现。同时，该方法试图通过融合LMM引导的细化来构建实体聚类的语义一致的层次结构。

KG-FIT通过在fine-tuning过程中同时考虑KG中的本地语义和LMM中的全局语义，有效地捕获了KG嵌入的表达能力和信息量。

该论文在FB15K-237、YAGO3-10和PrimeKG等基准数据集上进行了广泛的实验，并证明了KG-FIT相对于基于预训练语言模型的最新方法的优越性。此外，KG-FIT相对于其所构建的基于结构的基础模型，也实现了12.6％，6.7％和17.7％的性能提升。该论文的亮点包括：实验设计合理，数据集丰富，开源代码可用，该方法在知识图谱嵌入中的应用具有潜在的推广价值。

近年来，知识图谱嵌入技术受到了广泛关注和研究。一些相关的研究包括：《TransE》、《DistMult》、《ComplEx》等。