Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning

回答复杂的不完整知识图谱（KG）查询是一项具有挑战性的工作。大多数以前的工作都集中在学习实体/关系嵌入和使用各种神经网络模拟一阶逻辑运算符上。然而，它们受到无法共享世界知识以改进逻辑推理的限制，因此导致性能不佳。在本文中，我们提出了一个基于大型语言模型（LLMs）的复杂推理模式，其中包含一个名为LACT的基于课程的逻辑感知指令调整框架。具体而言，我们通过二叉树分解增强任意一阶逻辑查询，以刺激LLMs的推理能力。为了解决不同类型复杂查询之间的难度差距，我们设计了一个简单灵活的逻辑感知课程学习框架。在广泛使用的数据集上进行的实验表明，LACT相比先进方法有了实质性的改进（平均MRR得分提高了5.5％），达到了新的最佳状态。我们的代码和模型将很快在GitHub和huggingface上发布。

本论文旨在解决在不完整知识图谱上回答复杂查询的问题。之前的研究主要集中在学习实体/关系嵌入和使用各种神经网络模拟一阶逻辑运算符。然而，由于无法共享世界知识以改进逻辑推理，因此它们的性能不尽如人意。

本论文提出了一种基于大型语言模型的复杂推理模式，包含一个名为LACT的基于课程的逻辑感知指令调整框架。具体而言，我们通过二叉树分解来增强任意一阶逻辑查询，以刺激LLMs的推理能力。为了解决不同类型复杂查询之间的难度差距，我们设计了一个简单灵活的逻辑感知课程学习框架。

论文的实验结果表明，LACT相比于先进的方法有了显著的改进（平均+5.5%的MRR分数），并取得了新的最优结果。作者将代码和模型发布在GitHub和huggingface上。

最近在这个领域中，还有一些相关的研究，例如：《Neural Reasoner: A Deep Learning-Based Approach to Story-based Reading Comprehension》、《A Survey of Knowledge Graph Embeddings: Techniques and Applications》等。