Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs

尽管大型语言模型在许多任务中表现出色，但在需要准确知识的任务面前，它们存在生成幻觉甚至错误答案的风险。当处理需要多个逻辑推理步骤的逻辑查询时，这个问题变得更加明显。另一方面，基于知识图谱的问答方法能够在知识图谱的帮助下准确识别正确答案，但当知识图谱本身稀疏或不完整时，其准确性可能会迅速下降。如何在互惠互利的方式下将知识图谱推理与大型语言模型相结合，以缓解大型语言模型的幻觉问题和知识图谱的不完整问题，仍然是一个重要的挑战。在本文中，我们提出了“思维逻辑查询”（LGOT），它是第一个将大型语言模型与基于知识图谱的逻辑查询推理相结合的模型。LGOT无缝地结合了知识图谱推理和大型语言模型，有效地将复杂的逻辑查询分解为易于回答的子问题。通过利用知识图谱推理和大型语言模型，它成功地为每个子问题得出答案。通过汇总这些结果并选择每个步骤中最高质量的候选答案，LGOT实现了对复杂问题的准确回答。我们的实验结果表明，LGOT具有显著的性能提升，比ChatGPT提高了高达20%。

如何将知识图谱的逻辑查询与大型语言模型相结合，以解决LLM的幻觉问题和知识图谱不完整的问题？

提出了一种名为LGOT的方法，将知识图谱推理和LLM相结合，通过将复杂的逻辑查询分解为易于回答的子问题，并利用知识图谱推理和LLM分别得出答案，最终聚合结果并选择最高质量的候选答案来回答复杂问题。

实验结果表明，LGOT相比ChatGPT等方法在性能上有显著提高，最高可达20％。该论文提供了开源代码和使用的数据集，值得进一步研究。

与该论文相关的其他研究包括：'Knowledge Graph Embedding with Iterative Guidance from Soft Rules'，'Multi-hop Knowledge Graph Reasoning with Reward Shaping and Greedy Search'等。