Efficient Knowledge Infusion via KG-LLM Alignment

本文旨在解决大型语言模型（LLMs）内领域特定知识匮乏的问题，已证明知识图谱检索增强方法是一种有效和高效的知识注入技术。然而，现有方法面临两个主要挑战：公共可用知识图谱与具体任务的特定领域之间的知识不匹配，以及LLMs与知识图谱的信息不兼容。本文利用少量标记样本和大规模语料库，通过LLM有效地构建领域特定的知识图谱，解决了知识不匹配的问题。此外，我们提出了一种三阶段的KG-LLM对齐策略，以增强LLM利用知识图谱信息的能力。我们在两个生物医学问答数据集上进行了有限样本设置的实验，结果表明我们的方法优于现有基线。

本文旨在解决大型语言模型（LLMs）中特定领域知识匮乏的问题，通过知识图谱检索增强方法来实现知识注入。然而，现有方法面临两个主要挑战：公共可用知识图谱与任务特定领域之间的知识不匹配，以及LLMs与知识图谱的信息不兼容。

本文提出使用少量标记样本和大规模语料库来构建特定领域知识图谱，以提高LLMs对知识图谱信息的利用能力。同时，提出了三阶段的知识图谱-LLMs对齐策略。

本文在两个生物医学问答数据集上进行实验，结果表明本文的方法优于现有基线。实验设计合理，同时提供了开源代码。值得深入研究的是，如何将该方法应用于其他领域的问答任务中。

最近的相关研究包括《Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings》、《Enhancing Pre-trained Language Models with External Commonsense Knowledge》等。