GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding

将大型语言模型（LLMs）与基于特定领域数据的知识图谱集成，是朝着更强大和事实推理的方向迈出的重要一步。随着这些模型变得越来越强大，使它们能够在现实世界的知识图谱上进行多步推理并最小化幻觉是至关重要的。虽然大型语言模型擅长对话和文本生成，但它们在处理相互连接的实体的领域专业图谱时的推理能力仍然有限。例如，我们能否查询LLM，根据私人数据库中的关系和属性，确定特定目标的专业网络中的最佳联系人？答案是否定的——这些能力超出了当前的方法。然而，这个问题强调了必须解决的关键技术差距。许多高价值应用程序（如科学、安全和电子商务）依赖于编码独特结构、关系和逻辑约束的专有知识图谱。我们介绍了一个微调框架，用于开发与图形对齐的语言模型（GLaM），将知识图谱转换为带有标记的问答对的替代文本表示形式。我们证明，将模型基于特定的基于图形的知识进行基础，可以扩展模型的结构推理能力。我们的方法利用大型语言模型的生成能力创建数据集，并提出了一种有效的替代检索增强生成样式的方法。

如何使大型语言模型能够对特定领域的知识图谱进行多步推理？

使用Graph-aligned LAnguage Models (GLaM)框架，将知识图谱转化为文本表示，并将其用于微调大型语言模型，以扩展其结构化推理能力。

GLaM框架可以有效地将知识图谱转化为文本表示，并用于微调大型语言模型，以扩展其结构化推理能力。实验结果表明，GLaM可以在多个任务上显著提高模型的性能。此外，该方法还提供了一种有效的替代方案，可以避免检索式方法的缺点。

最近的相关研究包括：《Improving Language Understanding by Generative Pre-Training》、《A Review of Relational Machine Learning for Knowledge Graphs》、《Knowledge Graph Embedding: A Survey of Approaches and Applications》等。