SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

本文介绍了自我感知知识检索（SeaKR），这是一种新颖的自适应RAG模型，可以从LLMs的内部状态中提取自我感知不确定性。当LLMs在生成时呈现出高度的自我感知不确定性时，SeaKR就会激活检索。为了有效地整合检索到的知识片段，SeaKR基于LLM的自我感知不确定性重新排名它们，以保留最大程度地降低其不确定性的片段。为了便于解决需要多次检索的复杂任务，SeaKR利用其自我感知不确定性在不同的推理策略之间进行选择。我们在复杂和简单的问答数据集上进行的实验表明，SeaKR优于现有的自适应RAG方法。我们在https://github.com/THU-KEG/SeaKR发布了我们的代码。

SeaKR试图解决的问题是如何利用LLMs内部状态的自我感知不确定性来提高自适应的RAG模型的性能，以便在生成文本时选择最佳的知识片段。

SeaKR的解决方案是通过选择最能减少LLMs自我感知不确定性的知识片段来提高模型的性能。此外，SeaKR还利用自我感知不确定性来选择不同的推理策略，以便解决需要多次检索的复杂任务。

该论文的亮点包括：1.提出了一种新的自适应RAG模型，该模型可以利用LLMs的自我感知不确定性来提高性能；2.通过重新排列知识片段，SeaKR可以更有效地整合检索到的知识；3.实验结果表明，SeaKR优于现有的自适应RAG方法；4.作者已将代码开源。

在这个领域中，最近的相关研究包括：1.《Adaptive Attention Span in Transformers》；2.《Improving Language Understanding by Generative Pre-Training》；3.《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》等。