ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models

2025年04月10日
  • 简介
    检索增强生成(RAG)在近期受到了越来越多的关注,而大型语言模型(LLMs)的最新进展也突显了将世界知识整合到这些系统中的重要性。当前的 RAG 方法通常会修改预训练语言模型(PLMs)的内部架构,或者依赖于将知识图谱(KGs)转化为文本的形式,这在标记符(token)使用效率上并不理想。本文介绍了一种名为 ConceptFormer 的新方法,该方法能够在不改变 LLMs 内部结构、也不依赖知识图谱文本化的情况下,利用来自知识图谱(如 Wikidata)的结构化知识来增强 LLMs。ConceptFormer 在 LLM 嵌入向量空间中运行,通过创建并注入 *概念向量*(concept vectors),直接封装知识图谱节点的信息。ConceptFormer 与一个冻结的 LLM 联合训练,生成一个全面的查找表,将知识图谱节点映射到其对应的概念向量。这种方法旨在通过使 LLMs 能够原生处理这些概念向量,从而高效且可扩展地用结构化世界知识丰富模型,进而提升其事实记忆能力。我们的实验表明,在维基百科句子测试中,为 GPT-2 0.1B 添加概念向量可将其事实记忆能力(Hit@10)提高多达 272%,而在合成生成句子上的提升可达 348%。即使仅在提示词中注入一个概念向量,在维基百科句子上的事实记忆能力(Hit@10)也能提升至多 213%,显著优于基于图谱文本化的 RAG 方法,同时输入标记符的数量减少了 130 倍。
  • 图表
  • 解决问题
    论文试图解决如何有效地将结构化知识(如知识图谱)整合到大型语言模型(LLMs)中以增强其事实回忆能力的问题。这是一个重要但尚未完全解决的问题,尤其是在不改变LLM内部架构或避免低效文本化KG的情况下。
  • 关键思路
    关键思路是提出了一种名为ConceptFormer的新方法,该方法通过在LLM的嵌入向量空间中创建和注入‘概念向量’来直接封装KG节点的信息。这种方法不需要修改LLM的内部结构,也不依赖于将KG转化为文本输入,而是训练一个与冻结LLM结合的映射表,将KG节点高效地转换为概念向量。这使得LLM能够以更少的资源消耗处理结构化知识。
  • 其它亮点
    实验表明,ConceptFormer显著提高了GPT-2的事实回忆能力,在Wikipedia句子上的Hit@10指标提升了272%,在合成句子上提升了348%。即使只注入一个概念向量,也能提升213%的性能。此外,相比传统的RAG方法,ConceptFormer减少了130倍的输入令牌使用量。论文未提及开源代码,但其高效的知识表示方式值得进一步研究,例如扩展到更大规模的LLMs或更多类型的KGs。
  • 相关研究
    最近的相关研究包括:1) Retrieval-Augmented Generation (RAG),它结合检索模块和生成模型;2) KG-BERT,探索了将知识图谱融入预训练模型的方法;3) 文章《Knowledge-infused Pretraining》探讨了在预训练阶段引入外部知识的可能性;4) 《Graph Textification for LLMs》研究了将KG转化为文本的有效性。这些研究大多关注文本化或微调,而ConceptFormer提供了一种全新的非侵入式解决方案。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论