GRAG: Graph Retrieval-Augmented Generation

2024年05月26日
  • 简介
    Retrieval-Augmented Generation(RAG)虽然通过生成式语言模型提高了响应的准确性和相关性,但在需要考虑文本和拓扑信息的基于图的场景中表现不佳。朴素的RAG方法固有地忽略了文本图的结构复杂性,在生成过程中产生了重要的差距。为了解决这一挑战,我们引入了$\textbf{图检索增强生成(GRAG)}$,通过强调子图结构的重要性,显著增强了检索和生成过程。与仅关注基于文本实体检索的RAG方法不同,GRAG保持对图拓扑结构的敏锐意识,这对于生成上下文和事实上一致的响应至关重要。我们的GRAG方法包括四个主要阶段:$k$-hop自我图的索引、图检索、软修剪以减轻不相关实体的影响以及使用修剪的文本子图进行生成。GRAG的核心工作流程——检索文本子图,然后进行软修剪——有效地识别相关的子图结构,同时避免了NP难问题的穷举子图搜索的计算不可行性。此外,我们提出了一种新的提示策略,实现了从文本子图到分层文本描述的无损转换。在图多跳推理基准测试上进行的大量实验表明,在需要在文本图上进行多跳推理的场景中,我们的GRAG方法在有效减轻幻觉的同时,显著优于当前最先进的RAG方法。
  • 图表
  • 解决问题
    GRAG试图解决在图形上下文中,RAG方法无法处理文本和拓扑信息的问题,导致生成过程中存在重要的差距。
  • 关键思路
    GRAG通过强调子图结构的重要性,显著增强了检索和生成过程,不仅关注基于文本的实体检索,还维护了对图形拓扑的敏锐意识。
  • 其它亮点
    GRAG的核心工作流程是检索文本子图,然后进行软修剪以减轻不相关实体的影响,最后使用修剪后的文本子图进行生成。该方法有效地识别了相关的子图结构,同时避免了NP-hard的穷举子图搜索的计算困难。此外,论文提出了一种新的提示策略,实现了从文本子图到分层文本描述的无损转换。实验结果表明,在需要对文本图进行多跳推理的场景中,GRAG方法显著优于当前最先进的RAG方法,并有效地减轻了幻觉。
  • 相关研究
    在图神经网络领域,还有一些相关的研究,例如GPT、BERT等基于Transformer的模型,以及GNN、GraphSAGE等基于图的模型。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论