G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning

常识问题回答已在助理和社交机器人等各种应用中展现出相当的潜力。虽然完全微调的预训练语言模型已在常识推理方面取得了显著的性能，但它们过度优先考虑文本信息，阻碍了结构知识的精确转移并削弱了可解释性。一些研究探索了将语言模型与知识图谱相结合，通过粗略融合两种模态来执行基于图神经网络的推理，但缺乏异构模态之间的深入交互。本文提出了一种新颖的基于图的结构感知提示学习模型，命名为G-SAP，旨在在LM+GNNs模型中保持异构知识的平衡并增强跨模态交互。具体而言，通过整合多个知识来源，即ConceptNet、Wikipedia和剑桥词典，构建证据图以提高性能。然后，采用结构感知的冻结PLM，从证据图中完全融合结构化和文本信息，其中提示的生成由图实体和关系驱动。最后，采用异构消息传递推理模块，促进LM和基于图的网络之间的深度知识交互。通过对三个基准数据集的广泛实验进行的实证验证，证明了所提出模型的显着性能。结果显示，在OpenbookQA数据集上，与现有的模型相比，特别是与SoTA LM+GNNs模型相比，性能提高了6.12%。

本论文旨在解决通用常识推理中结构化知识和文本信息之间交互不足的问题，并提出了一种基于图结构的模型来增强这种交互。

该模型将多个知识源整合成证据图，并使用结构感知的预训练语言模型来完全整合证据图中的结构化和文本信息。模型使用异构消息传递推理模块来促进语言模型和基于图的网络之间的深度交互。

该模型在三个基准数据集上进行了广泛的实验验证，表现出显著的性能提升。该模型在OpenbookQA数据集上的表现优于现有的LM+GNNs模型6.12%。该论文使用了ConceptNet、Wikipedia和剑桥词典等多个知识源来构建证据图。此外，该论文还提出了一种结构感知的预训练语言模型来整合证据图中的信息。

近期的相关研究包括将LM与KGs相结合的研究，以及使用GNN进行推理的研究。例如，文章提到了ComplEx-Reasoner和GPT-3等模型。