RaFe: Ranking Feedback Improves Query Rewriting for RAG

随着大型语言模型（LLMs）和检索增强生成（RAG）技术的发展，查询重写已被广泛应用于RAG系统中，用于开放领域问答等下游任务。许多研究尝试利用强化学习而非昂贵的LLMs来改进查询重写的小型模型。然而，当前的方法需要注释（例如，标记的相关文档或下游答案）或预设计的反馈奖励，这缺乏泛化能力，并且无法利用针对查询重写量身定制的信号。在本文中，我们提出了一种框架，用于训练无注释的查询重写模型。通过利用公开可用的重新排序器，我们提供了与重写目标对齐的反馈。实验结果表明，我们的方法可以获得比基线更好的性能。

该论文旨在解决无需注释的查询重写模型训练问题，以提高开放领域QA等下游任务的性能。

该论文提出了一种利用公开可用的重新排序器来提供与重写目标对齐的反馈的框架，从而训练无需注释的查询重写模型。

论文实验结果表明，该框架比基线模型表现更好。该论文的亮点在于使用了无需注释的训练方法，并提供了公开可用的重新排序器来提供反馈。实验使用了公开可用的数据集，并提供了开源代码。

最近的相关研究包括利用强化学习来提高查询重写性能的工作，以及使用小模型进行查询重写的工作。