Knowledge Graph-Enhanced Large Language Models via Path Selection

大型语言模型（LLMs）在各种实际应用中表现出前所未有的性能。然而，它们被认为会生成事实上不准确的输出，即幻觉问题。近年来，将从知识图谱（KGs）中提取的外部知识纳入其中已成为提高LLM生成输出的事实准确性的一种有前途的策略。然而，大多数现有的探索都依赖于LLMs本身来执行KG知识提取，这是非常不灵活的，因为LLMs只能对是否应该使用某些知识（例如KG中的知识路径）进行二进制判断。此外，LLMs倾向于仅选择与输入文本具有直接语义关系的知识，而可能有用的具有间接语义的知识可能会被忽略。在这项工作中，我们提出了一个有原则的框架KELP，它有三个阶段来处理上述问题。具体而言，KELP能够通过通过潜在的语义匹配为知识路径与输入文本生成得分，从而实现更细粒度的灵活知识提取。同时，通过在KG中选择的路径与输入文本之间的训练编码，还可以考虑具有间接语义关系的知识路径。在真实世界的数据集上的实验证实了KELP的有效性。

论文旨在解决LLM生成的文本存在事实不准确的问题，提出了使用知识图谱来提高LLM生成文本的事实准确性的方案。

KELP框架提出了三个阶段的方法，通过潜在语义匹配为知识路径和输入文本生成分数，以实现更细粒度的灵活知识提取，同时通过训练的编码考虑与输入文本具有间接语义关系的知识路径。

论文通过实验验证了KELP框架的有效性，并使用了真实世界的数据集。该论文的亮点包括使用知识图谱提高LLM生成文本的事实准确性，提出了KELP框架来解决灵活性和间接语义关系的问题。

近年来，使用知识图谱来提高LLM生成文本的事实准确性已经成为一个研究热点。相关研究包括“Improving Language Understanding by Generative Pre-Training”和“Knowledge Graph Convolutional Networks for Recommender Systems”。