Finetuning Generative Large Language Models with Discrimination Instructions for Knowledge Graph Completion

传统的知识图谱（KG）补全模型学习嵌入来预测缺失的事实。最近的研究尝试使用大型语言模型（LLMs）以文本生成的方式完成KG。然而，它们需要将LLMs的输出与KG实体联系起来，这不可避免地会带来错误。本文提出了一个微调框架DIFT，旨在释放LLMs的KG补全能力并避免接地错误。给定一个不完整的事实，DIFT使用一个轻量级模型来获取候选实体，并使用区分性指令微调LLM，以从给定的候选项中选择正确的实体。为了提高性能并减少指令数据，DIFT使用截断抽样方法选择有用的事实进行微调，并将KG嵌入注入LLM中。在基准数据集上进行的广泛实验证明了我们提出的框架的有效性。

本论文旨在提出一种新的框架DIFT，以解决传统知识图谱补全模型中存在的实体对齐错误的问题，同时利用大型语言模型的能力来提高知识图谱补全的效果。

DIFT框架通过轻量级模型获取候选实体并使用判别指令对候选实体进行微调，从而避免了实体对齐错误，并利用截断采样方法和知识图谱嵌入来提高模型性能。

论文在多个基准数据集上进行了广泛的实验，证明了DIFT框架的有效性。此外，论文还开源了代码，并提供了有用的实验细节和分析结果。值得深入研究的是如何在更复杂的知识图谱中应用该框架。

在这个领域中，最近的相关研究包括：《ComplEx-KGE: Handling Incomplete Knowledge Graphs for Link Prediction》、《Improving Knowledge Graph Embedding Using Simple Constraints》等。