LAB-Bench: Measuring Capabilities of Language Models for Biology Research

目前，人们普遍认为前沿的大型语言模型（LLMs）和LLM增强系统有潜力在各个学科领域快速加速科学发现。如今，有许多基准来衡量LLM对教科书式科学问题的知识和推理能力，但几乎没有基准旨在评估语言模型在科学研究所需的实际任务上的表现，例如文献搜索、协议规划和数据分析。为了建立这样的基准，我们引入了语言代理生物学基准（LAB-Bench），这是一个广泛的数据集，包含超过2,400个多项选择题，用于评估AI系统在一系列实际生物学研究能力上的表现，包括文献回忆和推理、图形解释、数据库访问和导航、以及DNA和蛋白质序列的理解和操作。重要的是，与以前的科学基准不同，我们期望一个能够在更困难的LAB-Bench任务上实现一致高分的AI系统将成为研究人员在文献搜索和分子克隆等领域的有用助手。作为对前沿语言模型新兴科学任务能力的初步评估，我们测量了几个模型在我们的基准上的表现，并报告了与人类专家生物学研究人员的比较结果。我们将继续更新和扩展LAB-Bench，并期望它成为未来自动化研究系统开发的有用工具。LAB-Bench的公共子集可在以下网址使用：https://huggingface.co/datasets/futurehouse/lab-bench

论文旨在建立一种评估自然语言处理模型在实际生物学研究中表现的基准，以提高其在文献搜索、协议规划和数据分析等方面的应用能力。

通过构建LAB-Bench数据集，评估自然语言处理模型在生物学实际研究中的表现，包括文献回忆和推理、图像解释、数据库访问和导航、DNA和蛋白质序列的理解和操作。

LAB-Bench数据集包含2400多个多选题，用于评估自然语言处理模型的生物学实际研究能力。实验结果表明，现有的前沿语言模型在LAB-Bench上的表现仍然有待提高。LAB-Bench公共子集可供使用。

最近的相关研究包括BioASQ和SciQ等科学问答基准，以及BioNLP和JNLPBA等生物医学实体识别和关系抽取基准。