Context Tuning for Retrieval Augmented Generation

大型语言模型（LLMs）具有令人惊异的能力，只需要几个示例就能解决新任务，但它们需要访问正确的工具。检索增强生成（RAG）通过检索给定任务的相关工具列表来解决这个问题。然而，RAG的工具检索步骤需要查询中明确存在所有必需的信息，这是一个限制，因为语义搜索，这是广泛采用的工具检索方法，当查询不完整或缺乏上下文时可能失败。为了解决这个限制，我们提出了RAG的上下文调整，它采用智能上下文检索系统来获取相关信息，从而改善工具检索和计划生成。我们的轻量级上下文检索模型使用数字、分类和惯例使用信号来检索和排名上下文项。我们的实证结果表明，上下文调整显著增强了语义搜索，在上下文检索和工具检索任务中，Recall@K分别提高了3.5倍和1.5倍，并导致基于LLM的计划器准确性提高了11.6%。此外，我们展示了我们提出的使用倒数排名融合（RRF）和LambdaMART的轻量级模型优于基于GPT-4的检索。此外，我们观察到即使在工具检索之后，计划生成的上下文增强也能减少幻觉。

解决问题的问题是RAG工具检索步骤需要查询中的所有必需信息都明确存在。这是一个限制，因为语义搜索可能在查询不完整或缺乏上下文时失败。

该论文提出了Context Tuning for RAG，它利用智能上下文检索系统来获取改进工具检索和计划生成的相关信息。使用数字，类别和惯用信号的轻量级上下文检索模型用于检索和排名上下文项。

实验结果表明，Context Tuning显着增强了语义搜索，分别实现了上下文检索和工具检索任务的Recall@K 3.5倍和1.5倍的改进，并导致LLM-based planner准确性增加了11.6％。此外，使用LambdaMART的倒数排名融合（RRF）的轻量级模型优于基于GPT-4的检索。此外，我们观察到即使在工具检索之后，计划生成中的上下文增强也会减少幻觉。

在这个领域中，最近的相关研究有“Retrieval-Augmented Generation for Knowledge-Intensive Tasks”和“Improving Language Understanding by Generative Pre-Training”等。