BioRAG: A RAG-LLM Framework for Biological Question Reasoning

这篇文章讨论了生命科学研究中的问答系统所面临的挑战，这个领域的发现速度快、见解不断更新、知识实体之间的相互作用复杂。为了解决这些问题，作者们提出了一种新的检索增强生成（RAG）方法，即BioRAG，采用大型语言模型（LLMs）框架。该方法首先解析、索引和分割了一个包含2200万篇科学论文的庞大知识库，然后训练了一个专门针对该领域的嵌入模型。此外，作者们还增强了向量检索过程，包括引入了一个领域特定的知识层次结构，有助于建模每个查询和上下文之间的复杂相互关系。对于需要最新信息的查询，BioRAG会将问题分解，并采用迭代检索过程，结合搜索引擎进行逐步推理。严格的实验表明，BioRAG模型在多个生命科学问答任务中的表现优于微调的LLM、带有搜索引擎的LLM以及其他科学RAG框架。

BioRAG旨在解决生命科学领域知识库的维护和信息检索问题，如何在快速发现、不断演变的知识体系中实现准确信息检索？

BioRAG采用Retrieval-Augmented Generation (RAG)和Large Language Models (LLMs)框架，通过对大量科学论文进行解析、索引和分割，训练一个专门为生命科学领域量身定制的嵌入模型，并结合领域特定的知识层次结构，以建模复杂的查询和上下文之间的相互关系，从而提高向量检索的效率和准确性，同时对于需要最新信息的查询，BioRAG采用迭代检索过程和搜索引擎进行逐步推理。

BioRAG在多个生命科学问答任务中表现出优异的性能，超过了fine-tuned LLM、LLM with search engines和其他科学RAG框架。实验使用了22百万篇科学论文作为基础知识，并开发了一个专门针对生命科学领域的嵌入模型。此外，BioRAG还采用了领域特定的知识层次结构，以建模复杂的查询和上下文之间的相互关系。

在生命科学领域，近期还有一些相关的研究，如基于BERT的生物医学实体识别和关系提取、基于知识图谱的生命科学知识管理和检索等。