BiomedRAG: A Retrieval Augmented Large Language Model for Biomedicine

大型语言模型（LLMs）已迅速成为生物医学和医疗保健领域中不同应用的重要资源；然而，这些模型会遇到生成不准确信息或幻觉等问题。检索增强生成为这些模型提供了解决方案，以更新知识并提高性能。与以往利用专门的交叉注意机制来帮助LLM编码检索文本的检索增强LLM不同，BiomedRAG采用了更简单的方法，直接将检索到的基于块的文档输入LLM。这种简单的设计对现有的检索和语言模型易于应用，能够有效地绕过检索文档中的噪声信息，特别是在噪声密集的任务中。此外，我们展示了利用LLM来监督生物医学领域的检索模型的潜力，使其检索到有助于LLM提高预测的文档。我们的实验表明，通过调整评分器，BiomedRAG在涵盖信息提取（三元组提取、关系提取）、文本分类、链接预测和问答等5个生物医学NLP任务上，利用超过9个数据集取得了优异的性能。例如，在三元组提取任务中，BiomedRAG在GIT和ChemProt语料库上的微平均F1得分分别为81.42和88.83，优于其他三元组提取系统。

解决问题：本论文旨在解决大型语言模型在生物医学和医疗领域中生成不准确信息或幻觉的问题，并提出了一种检索增强生成的解决方案。

关键思路：BiomedRAG采用了一种简单的方法，将检索到的基于块的文档直接输入到大型语言模型中，以绕过检索文档中的噪声信息，从而提高性能。此外，论文还展示了利用大型语言模型监督检索模型在生物医学领域中进行文档检索的潜力。

其他亮点：论文在5个生物医学自然语言处理任务上进行了实验，包括信息提取（三元组提取、关系提取）、文本分类、链接预测和问答，涵盖了9个数据集。实验结果表明，BiomedRAG在GIT和ChemProt数据集上的三元组提取任务中表现优异，达到了81.42和88.83的微平均F1分数。

相关研究：最近在这个领域中，还有一些相关的研究，例如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《Improving Biomedical Named Entity Recognition with Multimodal Embeddings and Deep Learning》。