Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation

尽管大型语言模型（LLM）在各种任务中取得了显著进展，但由于其内部知识有限，它们经常会产生事实错误。检索增强生成（RAG）通过外部知识源增强LLM，提供了一种有希望的解决方案。然而，这些方法可能会被检索到的无关段落误导。由于LLM生成的固有不确定性，输入整个文档可能会引入与中心主题无关的信息，导致模型偏离中心主题，影响所生成内容的相关性。为了解决这些问题，我们提出了Retrieve-Plan-Generation（RPG）框架。RPG在计划阶段生成计划标记以指导后续生成。在答案阶段，模型基于计划选择相关的细粒度段落，并将它们用于进一步的答案生成。这个计划-答案过程迭代重复，通过专注于特定主题增强生成相关性。为了有效实现这个框架，我们利用了一种简单而有效的多任务提示调整方法，使现有的LLM可以处理计划和答案。我们在5个知识密集型生成任务上全面比较了RPG和基线，证明了我们方法的有效性。

解决问题：论文提出了Retrieve-Plan-Generation (RPG)框架，旨在解决RAG模型在检索到的文档中可能存在的无关段落问题，从而提高生成内容的相关性。

关键思路：RPG框架通过引入计划阶段来指导后续的生成过程，以及利用多任务prompt-tuning方法来实现计划和回答的处理，从而提高生成内容的相关性。

其他亮点：论文在5个知识密集型生成任务上对RPG框架进行了全面的比较实验，并展示了其有效性。此外，论文还提供了开源代码和数据集，以供进一步研究使用。

相关研究：最近的相关研究包括使用BERT模型进行检索增强生成的工作，如DPR和REALM等。