Don't Forget to Connect! Improving RAG with Graph-based Reranking

Retrieval Augmented Generation (RAG)通过使用现有文档的上下文来概括生成，已经极大地提高了大型语言模型（LLM）响应的性能。当文档与问题上下文明显相关时，这些系统可以很好地工作。但是，如果文档只有部分信息或与上下文的联系不太明显，我们该如何处理？我们应该如何推理文档之间的联系？在这项工作中，我们试图回答关于RAG生成的这两个核心问题。我们引入了G-RAG，这是一种基于图神经网络（GNNs）的重新排序器，位于RAG中的检索器和阅读器之间。我们的方法结合了文档之间的联系和语义信息（通过抽象意义表示图）来为RAG提供一个上下文感知的排序器。G-RAG的性能优于最先进的方法，同时计算占用更少。此外，我们评估了PaLM 2作为重新排序器的性能，并发现其表现显著低于G-RAG。这个结果强调了即使使用大型语言模型，重新排序对于RAG的重要性。

本论文旨在解决Retrieval Augmented Generation (RAG)在处理部分信息或者不太明显的文档相关性时的问题，并探讨文档之间的联系。同时，论文也试图证明使用GNNs和Abstract Meaning Representation graphs来提供上下文信息的reranker G-RAG的有效性。

论文提出了一种基于图神经网络的reranker G-RAG，将检索器和阅读器之间的文档之间的联系和语义信息结合起来，提供上下文信息，从而有效地解决了RAG在处理部分信息或者不太明显的文档相关性时的问题。

论文的实验结果表明，G-RAG在计算开销更小的情况下，比当前最先进的方法表现更好。此外，论文还评估了PaLM 2作为reranker的性能，并发现其明显低于G-RAG。论文使用了Abstract Meaning Representation graphs和多个数据集进行了实验，并提供了代码。

在这个领域中，最近的相关研究包括使用BERT的文档检索和生成模型以及使用Graph Convolutional Networks的文档检索模型。