ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models

检索增强生成（RAG）在近期受到了越来越多的关注，而大型语言模型（LLMs）的最新进展也突显了将世界知识整合到这些系统中的重要性。当前的 RAG 方法通常会修改预训练语言模型（PLMs）的内部架构，或者依赖于将知识图谱（KGs）转化为文本的形式，这在标记符（token）使用效率上并不理想。本文介绍了一种名为 ConceptFormer 的新方法，该方法能够在不改变 LLMs 内部结构、也不依赖知识图谱文本化的情况下，利用来自知识图谱（如 Wikidata）的结构化知识来增强 LLMs。ConceptFormer 在 LLM 嵌入向量空间中运行，通过创建并注入 *概念向量*（concept vectors），直接封装知识图谱节点的信息。ConceptFormer 与一个冻结的 LLM 联合训练，生成一个全面的查找表，将知识图谱节点映射到其对应的概念向量。这种方法旨在通过使 LLMs 能够原生处理这些概念向量，从而高效且可扩展地用结构化世界知识丰富模型，进而提升其事实记忆能力。我们的实验表明，在维基百科句子测试中，为 GPT-2 0.1B 添加概念向量可将其事实记忆能力（Hit@10）提高多达 272%，而在合成生成句子上的提升可达 348%。即使仅在提示词中注入一个概念向量，在维基百科句子上的事实记忆能力（Hit@10）也能提升至多 213%，显著优于基于图谱文本化的 RAG 方法，同时输入标记符的数量减少了 130 倍。

论文试图解决如何有效地将结构化知识（如知识图谱）整合到大型语言模型（LLMs）中以增强其事实回忆能力的问题。这是一个重要但尚未完全解决的问题，尤其是在不改变LLM内部架构或避免低效文本化KG的情况下。

关键思路是提出了一种名为ConceptFormer的新方法，该方法通过在LLM的嵌入向量空间中创建和注入‘概念向量’来直接封装KG节点的信息。这种方法不需要修改LLM的内部结构，也不依赖于将KG转化为文本输入，而是训练一个与冻结LLM结合的映射表，将KG节点高效地转换为概念向量。这使得LLM能够以更少的资源消耗处理结构化知识。

实验表明，ConceptFormer显著提高了GPT-2的事实回忆能力，在Wikipedia句子上的Hit@10指标提升了272%，在合成句子上提升了348%。即使只注入一个概念向量，也能提升213%的性能。此外，相比传统的RAG方法，ConceptFormer减少了130倍的输入令牌使用量。论文未提及开源代码，但其高效的知识表示方式值得进一步研究，例如扩展到更大规模的LLMs或更多类型的KGs。

最近的相关研究包括：1) Retrieval-Augmented Generation (RAG)，它结合检索模块和生成模型；2) KG-BERT，探索了将知识图谱融入预训练模型的方法；3) 文章《Knowledge-infused Pretraining》探讨了在预训练阶段引入外部知识的可能性；4) 《Graph Textification for LLMs》研究了将KG转化为文本的有效性。这些研究大多关注文本化或微调，而ConceptFormer提供了一种全新的非侵入式解决方案。