Nat. Methods | 生物医学基础模型的基准评测

透明的模型评价以及对算法可重复性、泛化能力和可复现性的验证，是计算生物学方法发展的基础。过去，结构生物学、系统生物学、医学影像和转化医学已经建立了大量基准评测体系。然而，基础模型（foundation models，FMs）的出现使这一问题变得更加复杂。基础模型通过大规模、异质甚至多模态数据进行预训练，其参数被期望能够捕获产生这些数据的潜在规律，并通过微调、提示或其他方式适配众多下游任务。因此，仅依靠少数任务上的准确率，很难判断模型是否真正具有广泛的生物学理解和泛化能力。

研究人员围绕基础模型的认识论价值以及如何科学评测这类模型展开讨论，并以单细胞基础模型为主要案例，分析训练和测试数据、微调策略、任务多样性、评价指标、多模态模型、智能体系统、透明度、计算成本以及临床隐私等关键问题。研究人员认为，未来需要建立由科研共同体参与、采用隐藏测试数据并持续更新的基准生态，以判断基础模型究竟捕获了真实生物规律，还是主要重现训练数据中的统计模式。

“基础模型”强调的是模型可以作为大量下游应用的共同基础，而不是意味着其本身属于基础科学理论。基础模型通常利用广泛而异质的数据进行大规模自监督或无监督预训练，学习通用表示，再通过微调、少样本学习或提示适配不同任务。它们通常还具有模型和计算规模巨大、可能出现训练目标之外的涌现能力，以及多个应用共享同一模型等特征。

目前，基础模型已经进入结构生物学、虚拟细胞、基因序列功能预测、医学影像和电子健康记录等领域。其通用性意味着优势可以迅速传播到大量应用，但模型偏差、公平性和可重复性问题同样会被放大。因此，对基础模型进行独立而系统的评价尤为重要。

随着高通量组学产生海量数据，计算模型逐渐成为生物医学研究的重要组成部分，同时也暴露出数据泄漏、重复性不足、模型漂移和泛化能力有限等问题。传统机器学习由此形成一个基本原则：训练数据不能用于最终性能评价，而应该保留独立测试数据，并尽可能在真实环境中持续评价模型。

以蛋白质结构预测的CASP以及系统生物学的DREAM为代表，科研共同体进一步建立了竞争式独立评测体系。这些体系通常首先定义明确任务和训练数据，参与者随后针对隐藏的验证或测试数据提交预测，并利用预先确定的指标进行统一评价。由于方法开发和最终测试相互分离，这种设计类似双盲临床试验，可以减少开发者自我评价产生的偏差，并通过代码提交提高可重复性。

传统基准通常针对一个明确任务，而基础模型理论上能够完成大量不同任务。任何有限的下游任务集合，都只能探测其巨大表示空间中的很小区域。因此，一个模型在几个监督任务上表现优秀，可能只是其归纳偏置恰好与这些任务匹配，而不能证明它真正具有普遍的生物学泛化能力。

研究人员将这一问题比喻为通过访问几个容易到达的山谷来评价整片大陆。最终得到的只是任务依赖的局部结果，却容易被误解为模型整体能力。

图1｜利用标准任务评测基础模型的局限。

单细胞基础模型（scFMs）试图从大规模单细胞组学数据中学习细胞状态和基因的通用表示，并应用于跨物种比较、数据整合、模态插补以及遗传和药物扰动预测。然而，不同模型在训练物种、架构、表达数据Token化方式以及预训练目标方面存在明显差异，因此其能力不能通过简单排行榜直接比较。

scFM应该在能够覆盖生物学、技术和扰动差异的异质数据上进行评价，包括不同单细胞测序技术、物种、器官、疾病状态和扰动类型。单细胞转录组本身又只是细胞真实状态的部分且带噪声的观察，因此模型能力受到数据本身的限制。

扰动数据尤其重要，因为它们能够检验模型是否真正捕获基因调控逻辑，并预测训练分布之外的细胞响应。但是，公开基准长期使用后，模型可能逐渐被针对这些测试数据优化。因此，更可靠的泛化评价需要开发阶段完全隐藏的分布外数据，并通过受控访问完成测试。

基础模型性能还高度依赖微调策略。学习率、冻结哪些层以及训练预算均会改变结果，因此公平比较必须报告微调方式、计算资源和训练时间。无限制调参可能偏向计算资源丰富的大模型，因此固定计算预算也是有意义的评价方式。

微调也并非总是最佳方案。有时直接冻结基础模型的嵌入，再使用随机森林等传统算法，反而可以取得更好的下游性能。此时下游模型相当于一个“探针”，用于测试预训练表示中究竟包含多少可利用的生物信息。但探针过弱可能无法提取已有信息，探针过强又可能弥补基础表示的不足。因此，基准应明确探针结构，并同时评价零样本和微调条件。

基础模型具有通用性，因此必须通过多种互补任务评价。scFM已经被用于细胞类型注释、批次校正、数据整合、多组学对齐和扰动响应预测。不同模型可能分别在不同任务中占优，因此很难定义唯一的“最佳模型”。

更加关键的问题是指标本身可能产生误导。例如，扰动预测尚缺乏统一且具有明确生物意义的指标，因此不同研究可能得出完全相反的模型排名。一些细胞嵌入指标也可能获得很高分数，但实际上破坏了不同细胞类型之间的高阶生物学关系。这体现了“古德哈特定律”：一旦某个指标成为模型优化目标，它就可能不再可靠反映真正需要衡量的现象。

因此，复杂基础模型必须与简单基线、空模型以及成熟任务特异模型进行比较。如果一个拥有数十亿参数的模型不能稳定超过简单线性方法，其复杂性本身并不能证明具有更强生物学能力。评价还需要加入消融实验，分析训练数据和模型组件究竟贡献了什么。

基础模型正在从单一数据类型扩展到RNA、蛋白质、空间组学、分子结构、病理图像和医学文本等多模态数据。随着模态增加，模型可能通过某一种数据中的捷径完成任务，因此评价不能只关注最终准确率，还需要检查跨模态一致性和各信息源的真实贡献。

智能体系统则进一步增加复杂性。大型语言模型被嵌入多步骤工作流后，可以规划、推理和调用工具，但早期的小错误可能逐步传播并放大，而且同一个任务不同运行轨迹可能产生不同答案。因此，除了最终成功率，还应评价中间步骤、可信度、辅助价值和目标对齐，并检查智能体是否利用评价漏洞间接访问测试数据。

模型架构、训练数据、预训练目标和软件环境的透明报告，是可重复评价的基础。如果训练数据不公开，就很难判断测试集是否曾经进入预训练语料，从而无法区分真正泛化与数据记忆。在患者隐私使完整数据公开不可行时，可以采用受控访问，使外部研究人员能够测试模型行为而无需获得敏感数据。

计算成本同样应成为基准的一部分。大型基础模型和智能体系统需要巨大的存储、推理和测试资源，如果模型仅获得轻微性能提升，却需要数百倍计算成本，其实际科研价值可能有限。

临床模型还必须超越AUROC等区分能力指标，评价模型的校准度，即预测风险是否真正对应实际事件发生概率，同时测试其在不同医疗机构、未知队列和不同遗传背景人群中的稳健性。

基础模型有潜力显著加速生物医学研究，但它们是否真正能够成为“知识生成器”仍不明确。与由少量规律解释大量自然现象的物理理论不同，基础模型将知识分布在数十亿甚至更多从数据中学习的参数中，更接近对现实数据分布进行复杂的统计压缩。因此，模型预测准确并不必然意味着其真正理解了底层生物学。

目前基础模型基准研究仍然缺乏协调。不同研究选择不同输入、模型、任务和指标，容易产生“路灯效应”，即不断测试容易测量的问题，而真正重要但缺少明确标准答案的生物学问题反而被忽略。未来应发展持续更新的“活基准”，保留开发者无法访问的隐藏测试数据，并随着新实验、新模态和新科学问题不断更新评价体系。

研究人员进一步提出，应由跨领域科研共同体共同维护这一评价生态，将结构生物学、系统生物学、药物发现等领域长期积累的独立评测经验整合起来。新建立的BEACON联盟正尝试推动这种跨领域协作，通过统一基础设施承载挑战、数据和方法，并研究缺乏可靠真实答案时如何评价模型等共同难题。

最终，完整穷举基础模型能够执行的所有任务是不可能的。科研共同体需要与领域专家和实验研究人员共同建立具有实际科学价值的“任务地图”，确定哪些任务最能检验模型的核心能力，并为不同任务赋予合理权重。同时，需要产生受控的隐藏数据，实现真正接近双盲实验的独立评价。

因此，生物医学基础模型评测的核心目标不应只是建立一个排行榜，也不是简单回答“哪个模型最好”，而应该明确模型知道什么、不知道什么，在什么数据和任务上能够泛化，又会在什么条件下失败。只有建立透明、动态、独立并由科研共同体共同维护的基准体系，才能进一步判断这些基础模型究竟捕获了生物现实的本质规律，还是仅仅在重现现实投射到数据中的“影子”。

Saez-Rodriguez, J., Schäfer, P.S.L., Kalavros, N. et al. Benchmarking biomedical foundation models. Nat Methods 23, 1724–1733 (2026). 

https://doi.org/10.1038/s41592-026-03182-y