Learning Representations for Reasoning: Generalizing Across Diverse Structures

推理，即从现有知识中逻辑地得出结论的能力，是人类的标志。与感知一起，它们构成了人工智能的两大主题。虽然深度学习已经将感知能力提升到了超越人类水平的境界，但在推理领域的进展却远远落后。一个根本原因是，推理问题通常具有灵活的知识和查询结构，而许多现有的模型仅在训练过程中见过的结构上表现良好。我们旨在通过设计能够泛化到不同知识和查询结构的算法，以及加速结构化数据开发的系统，来推动推理模型的边界。本论文分为三个部分。第一部分，我们研究了可以归纳泛化到包含新实体和关系词汇表的未见知识图谱的模型。对于新实体，我们提出了一种框架，该框架在动态规划算法中学习神经算子以计算路径表示。对于关系，我们构建了一个关系图来捕捉关系之间的交互，从而将新的关系转化为新的实体。第二部分，我们针对知识图谱和文本上的多步查询提出了两种解决方案。对于知识图谱，我们展示了多步查询可以通过多次调用图神经网络和模糊逻辑运算来解决。对于文本，我们设计了一种算法，通过学习显式知识作为文本规则来提高大型语言模型在多步查询上的表现。第三部分，我们提出了两个系统，以促进结构化数据上的机器学习开发。我们的库将结构化数据视为一级公民，并消除了在结构化数据上开发算法的障碍。我们的节点嵌入系统解决了嵌入矩阵的GPU内存瓶颈问题，可扩展到十亿节点的图。

该论文旨在解决现有推理模型在处理未见过的知识和查询结构时表现不佳的问题。这是一个重要的问题，因为目前的深度学习模型在感知任务上已经超越了人类水平，但在推理任务上的进展相对缓慢。

论文提出了几种新颖的方法来提高模型在不同知识和查询结构上的泛化能力。对于新实体，提出了一种动态规划算法中的神经算子学习框架；对于新关系，通过构建关系图将新关系转换为新实体。此外，论文还针对多步查询提出了两种解决方案，分别适用于知识图谱和文本。

论文的主要亮点包括：1) 提出了一个框架，可以在未见过的知识图谱上对新实体和关系进行泛化；2) 设计了多步查询的解决方案，包括基于图神经网络和模糊逻辑的操作；3) 开发了两个系统，一个用于处理结构化数据的库，另一个用于解决大规模图嵌入的GPU内存瓶颈问题。论文使用了多个数据集进行实验，并提供了开源代码。

近期在这一领域的一些相关研究包括：1) 'Inductive Relation Prediction by Subgraph Reasoning'，探讨了通过子图推理进行关系预测的方法；2) 'Graph Neural Networks with Adaptive Readout for Few-shot Learning'，研究了图神经网络在少样本学习中的应用；3) 'Knowledge Graph Completion via Complex Tensor Factorization'，提出了一种基于复数张量分解的知识图补全方法。