告别刷题式评测，LifeSciBench 用 750 个真实科研任务检验生命科学大模型

生命科学研究并不是一组清晰、封闭、有唯一答案的选择题。真实科研工作往往需要研究者在不完整证据中做判断，从论文、图表、序列、化合物结构、实验结果和临床信息中提取线索，再结合机制理解、实验约束和转化风险给出可执行建议。过去许多生物学基准主要评估事实知识检索，或集中在计算生物学的单一任务上。这类评测对于衡量模型是否掌握基础知识有价值，但难以回答更实际的问题：模型能否像生命科学研究助理一样，理解模糊问题、处理复杂材料、权衡不确定证据，并输出对专家有用的结果？

已有基准如LAB-Bench、LABBench2、BixBench和GeneBench已经开始向更真实的科研场景推进。例如，BixBench评估生物信息学场景中的代码执行和多步分析，GeneBench考察带有噪声数据、质量控制、统计建模和混杂因素处理的复杂定量生物学任务。但生命科学领域仍缺少一个同时具备广度和深度的评测体系，能够覆盖从实验设计、数据解读到转化判断和科学沟通的完整工作流。LifeSciBench正是为填补这一缺口而设计。它不只评价模型是否给出最终答案，还评价模型是否能在真实科研约束下进行科学有效的推理、证据使用和操作性决策。

图1 LifeSciBench概览。专家科学家编写任务，每项任务由提示（prompt）、配套材料（artifacts）和评分标准（rubrics）组成；任务经过专家审核；模型生成单轮回答；回答依据任务专属评分标准进行评估，并按科研工作流程、学科领域、证据类型和能力类别进行分析。

表2 LifeSciBench数据集概览

任务作者队伍也体现出专业性。LifeSciBench由173名专家科学家撰写任务，这些专家需要具有相关领域博士学位，并至少有两年生物技术或制药行业科研经验。任务随后经过多轮质量控制和专家审查。最终基准中包含1062个支持性任务附件，53%的任务需要使用一个或多个附件，37个任务包含提示中提供的URL，79%的任务需要多步推理或决策，平均每个任务需要约4个推理/决策步骤。

与普通问答基准不同，LifeSciBench采用开放式回答。每个任务包括问题、必要支持材料和专家撰写的评分细则。支持材料可能包括SMILES或InChI字符串、核酸或氨基酸序列、表格数据、PDF、原始仪器输出、显微图像、凝胶图、实验图表以及其他科学文件。

生命科学中的许多任务不能只用答案对错评价。一个模型可能得出大致正确结论，但忽略关键实验约束；也可能完成部分计算，却没有将结果转化为可执行判断。因此，LifeSciBench使用细粒度评分标准来评价模型回答。

整个基准包含19020条专家撰写的细粒度评分标准，平均每个任务25条。这些标准既包括应提到的事实，也包括必须展示的推理步骤、定量输出的误差范围、对不确定性的处理、对约束条件的遵守以及科学沟通质量。

最终得分通过已获得分数除以总细则分数计算。评测中还使用两个互补指标：归一化细则得分和任务通过率。归一化得分能够衡量模型在开放式科研任务中的部分完成情况；任务通过率则更严格，要求模型达到任务特定的70%通过阈值，才算完成该任务。这个设计很关键，因为真实科研工作不只需要部分有道理，还需要结果足够完整，能够被专家用于后续决策。

为了验证基准质量，研究团队还邀请453名独立专家审查任务。97%的审查者拥有博士或同等学位，平均拥有12年领域经验和14篇同行评议论文。结果显示，98.3%的专家同意任务反映真实生命科学工作，98.1%认为任务测试了合适的推理与专业能力，96.5%认为任务有充分科学依据，96.6%认为任务是有用的生命科学评估项。

图3 独立专家验证结果。专家评审从真实世界相关性、科学推理与领域技能匹配度、科学依据以及整体实用性四个方面对LifeSciBench任务进行了评估。

总体结果显示，GPT-Rosalind表现最强，问题加权平均归一化得分为0.576，任务通过率为36.1%。GPT-5.5得分为0.519，通过率25.7%；Gemini 3.1 Pro得分为0.515，通过率23.6%；GPT-5.4得分为0.479，通过率20.7%；Grok 4.3得分为0.399，通过率13.0%。GPT-Rosalind在750个任务中的386个任务上取得最高平均分。

不过，即使是最强模型，通过率也只有约三分之一，说明LifeSciBench并未被当前模型饱和。模型在不同工作流中的表现差异明显。GPT-Rosalind在转化任务上得分较高，平均得分0.712，这类任务要求模型将临床前或生物学证据连接到临床意义、安全性、试验设计或治疗启示。科学沟通任务同样较强，GPT-Rosalind平均得分0.718，说明当前前沿模型在面向特定受众总结、解释和组织科学发现方面已有较好能力。

细则层面的分析也显示，GPT-Rosalind相较GPT-5.5的最大提升出现在机制解释、实验设计、批判/验证等标准上，分别提升0.086、0.079和0.078。这些任务往往要求模型不只是回忆知识，而是解释证据、评估假设、权衡取舍，并生成对科学决策有用的回答。

值得注意的是，模型表现不能简单用一个总榜概括。GPT-5.5和Gemini 3.1 Pro总体接近，但任务级能力分布不同。Gemini在214个任务上独立领先，尤其在某些需要精确输出、序列或结构推理、构建体生成的任务中表现出互补优势。这提示在真实科研使用中，某个模型总体分数略低，并不意味着它在所有工作流中都不适合。

图6 模型在LifeSciBench各任务上的比较。基于任务层面的优胜模型统计和两两胜率分析，结果表明总体排名可能掩盖模型在特定任务上的优势。

第三，精确构造类输出仍然困难。需要输出特定格式基因序列、化学结构、构建体或严格结构化结果的任务，是所有模型表现最低的任务类型之一。序列/结构类细则成功率从GPT-Rosalind的46.9%到Grok的18.0%不等。GPT-Rosalind相较GPT-5.5在科学判断类标准上提升明显，但在生成/构造类项目上的增益几乎为零（+0.001）。这意味着当前模型进步更多体现在通用推理和解释，而不是生命科学中常见的精确格式输出。

第四，模型经常部分正确但不能交付。GPT-Rosalind有109个任务通过率低于20%，但仍能获得至少50%的细则分数。这说明模型常常能识别相关证据或完成部分推理，却因漏掉约束、使用错误证据、计算不完整，或未能把中间推理转化成可操作结论而失败。真实科研工作中，这种看起来很接近的回答仍然可能不能使用。因此，LifeSciBench同时报告归一化分数和任务通过率非常重要。前者揭示模型已具备哪些部分能力，后者则衡量模型是否真正完成了专家任务。

图9 部分得分与任务通过率的关系。归一化评分标准得分较高但任务通过率较低的任务，揭示了模型虽然在科学推理上取得了一定进展，但尚未满足任务的全部要求。

LifeSciBench提出了一种更贴近真实生命科学工作的模型评测方式。它不再只问模型是否知道某个生物学事实，也不只考察单一计算流程，而是把评估放到真实科研任务结构中：模型需要处理复杂材料、应对模糊问题、进行多步推理、遵守实验或格式约束，并输出能被专家用于决策的结果。

该研究的主要贡献包括四点：第一，构建750个专家撰写的生命科学任务，覆盖7类科研工作流和7个生物领域；第二，提供包含19020条标准的专家评分细则标准，不只评估最终正确性，也评估推理和沟通质量；第三，通过多轮专家创建、审查和验证流程保证任务科学性；第四，对5个前沿模型进行系统评估，揭示当前模型在不同工作流、领域和证据类型上的优势与短板。

从结果看，当前前沿模型已经可以在科学综合、转化解释和专家沟通任务中提供一定帮助，但在真实科研约束下仍不够可靠。附件使用、精确科学输出、复杂设计与优化、操作性决策仍是主要短板。换句话说，大模型已经开始具备生命科学研究助理的部分能力，但还远没有达到可以稳定承担专家级工作的程度。

LifeSciBench的意义在于，它把“生命科学AI是否有用”这个问题从抽象讨论推进到可量化评估。未来，随着模型能力提升，这类基准将帮助研究者更具体地判断：模型到底是在记忆知识、组织语言，还是已经能够在真实生命科学工作中进行可靠推理和决策。