Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval

大型语言模型（LLM）的幻觉问题正通过允许这些模型搜索信息并将其答案基于真实来源来逐步缓解。不幸的是，LLM 在提出正确的搜索查询时常常遇到困难，尤其是在处理复杂或间接的话题时。观察到 LLM 可以通过尝试不同的查询并学习提高那些成功产生相关结果的查询的权重来学习搜索相关信息，我们引入了“尝试学习检索”（LeReT），这是一种强化学习框架，用于探索搜索查询，并使用基于偏好的优化方法来提高查询的质量。LeReT 可以将绝对检索准确性提高多达 29%，并将下游生成器评估提高 17%。LeReT 的简单性和灵活性使其可以应用于任意现成的检索器，并使其成为改进通用 LLM 流水线的有前景的技术。项目网站：http://sherylhsu.com/LeReT/。

论文试图解决大型语言模型（LLM）在搜索查询时遇到的困难，特别是当处理复杂或间接主题时，LLM往往难以提出有效的搜索查询。这是一个实际应用中的重要问题，因为准确的搜索查询能够显著提高LLM的回答质量。

论文提出了LeReT（Learning to Retrieve by Trying），一种基于强化学习的框架，通过尝试不同的搜索查询并根据查询结果的质量进行优化，从而提高LLM的检索准确性。这一方法的新颖之处在于它利用了偏好优化技术，使LLM能够从多次尝试中学习，逐步提升查询质量。

LeReT在实验中展示了显著的效果，能够将绝对检索准确性提高29%，并将下游生成器评估提高17%。此外，LeReT的灵活性和简单性使其可以应用于任意现成的检索器，具有广泛的应用潜力。项目网站提供了更多的详细信息和资源，包括开源代码。

近期在这一领域的一些相关研究包括： - 'Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'，探讨了如何通过检索增强生成模型来提高知识密集型任务的性能。 - 'RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'，提出了一个结合检索和生成的框架，以提升模型的知识获取能力。 - 'Reinforcement Learning for Query Reformulation in Information Retrieval'，研究了如何使用强化学习技术来优化信息检索中的查询重构。