Improving Retrieval-Augmented Generation in Medicine with Iterative Follow-up Questions

大型语言模型（LLMs）的新兴能力已经展示出在解决医学问题方面的巨大潜力。它们可以具备相当的医学知识，但仍可能出现幻觉，并且在知识更新方面缺乏灵活性。虽然Retrieval-Augmented Generation（RAG）已经被提出来增强LLMs对外部知识库的医学问答能力，但在需要多轮信息查询的复杂情况下仍可能失败。为了解决这个问题，我们提出了医学迭代RAG（i-MedRAG），其中LLMs可以根据以前的信息查询尝试迭代地提出后续查询。在i-MedRAG的每个迭代中，后续查询将由一个普通的RAG系统回答，并进一步用于指导下一次迭代中的查询生成。我们的实验表明，与普通RAG相比，i-MedRAG带来了各种LLMs的改进性能，可以应用于美国医学执照考试（USMLE）中的临床案例的复杂问题以及Massive Multitask Language Understanding（MMLU）数据集中的各种知识测试。值得注意的是，我们的零-shot i-MedRAG在GPT-3.5上优于所有现有的提示工程和微调方法，在MedQA数据集上实现了69.68％的准确率。此外，我们还表征了i-MedRAG的缩放特性，包括不同迭代的后续查询和每次迭代的查询数量。我们的案例研究表明，i-MedRAG可以灵活地提出后续查询以形成推理链，提供医学问题的深入分析。据我们所知，这是首个关于将后续查询纳入医学RAG的研究。

本论文旨在解决大语言模型在医学问题回答中存在的幻觉和知识更新不足的问题，提出了一种迭代式的基于检索-生成模型的医学问题回答方法（i-MedRAG），旨在解决复杂情况下需要多轮信息获取的问题。

本文提出的i-MedRAG方法可以让大语言模型在医学问题回答中灵活地进行多轮信息获取，从而提高准确性。

本文的实验结果表明，i-MedRAG相比于传统的RAG方法在复杂问题上表现更好，甚至在GPT-3.5上实现了零样本学习。此外，本文还对i-MedRAG的迭代次数和每轮查询数量进行了研究，提供了一些有关医学问题分析的案例研究。

与本文相关的研究包括：检索-生成模型在医学问题回答中的应用、医学问题回答中的多轮信息获取、以及大语言模型在医学领域的其他应用。