Nat. Biomed. Eng. | 融合临床概念的可审计放射学基础模型

近年来，医学影像基础模型在疾病识别、自动报告生成和临床辅助诊断等方面取得了显著进展，但绝大多数模型仍属于典型的“黑箱”模型，其预测依据难以解释，也难以发现导致模型失效的数据偏倚和混杂因素。研究人员提出了一种全新的放射学基础模型CLEAR（Concept-Level Embeddings for Auditable Radiology），首次将临床概念直接作为模型内部表示，使模型所有预测均能够分解为多个放射学概念的加权贡献，实现真正可审计的人工智能推理。CLEAR利用超过87万组胸部X线图像—报告配对数据进行训练，并借助大语言模型从22万余份放射学报告中自动提取36.8万个临床概念，建立覆盖肺部、心脏、胸膜、骨骼及血管等多系统的概念空间。在来自美国、西班牙和越南的多个独立测试集上，CLEAR不仅取得领先于现有视觉—语言模型的零样本诊断性能，还能够自动发现影响诊断准确性的混杂因素，定位数据集偏倚，并进一步构建达到专家水平的可解释概念瓶颈模型，为建立可信赖、安全且可审计的医学人工智能提供了新的技术框架。

医学影像解释是现代临床诊疗的重要基础，但即使经验丰富的放射科医生，也难以避免误诊和漏诊。近年来，深度学习基础模型已经广泛应用于胸部X线、CT和MRI分析，在病灶检测、疾病分类、生存预测及医学报告生成等方面不断刷新性能。然而，大多数模型采用端到端训练方式，其内部表示缺乏医学语义解释，医生无法了解模型究竟依据哪些影像特征完成诊断。当模型在不同医院、不同患者群体或不同成像条件下性能下降时，也很难定位具体原因。

为了提高模型可解释性，研究者提出了概念瓶颈模型等方法，希望利用人工定义的医学概念作为模型中间层。但这类方法依赖专家人工设计概念，覆盖范围有限，而且需要大量概念标注数据，难以扩展到真实临床环境。

放射科医生在诊断过程中，并不是直接根据图像进行分类，而是首先识别一系列影像征象，例如肺不张、肺水肿、胸腔积液或纵隔增宽，再综合这些临床概念完成最终判断。研究人员认为，如果人工智能能够学习这种“概念推理”方式，而不是直接学习图像到标签之间的映射，就能够同时获得较高性能和较好的可解释性。因此，他们提出CLEAR框架，希望利用海量放射学报告中的临床知识建立统一概念空间，使模型推理过程能够完全映射到医生熟悉的放射学语言。

研究人员首先收集MIMIC-CXR、CheXpert-Plus和ReXGradient三个公开数据库，共87万余组胸部X线与报告配对数据，涉及23.9万名患者。随后利用大语言模型自动解析22万余份放射学报告，从自由文本中提取36.8万个标准化放射学观察，包括肺部、心血管、胸膜、骨骼及医疗器械等各类临床征象，并进一步利用大语言模型生成对应语义嵌入，构建完整概念空间。随后采用DINOv2视觉编码器和文本编码器进行对比学习，使胸片与对应报告映射到统一语义空间。在推理阶段，模型首先计算每张胸片与36.8万个临床概念之间的相似性，再将这些概念映射到大语言模型语义空间，最终形成概念级图像表示。所有疾病预测均通过概念空间完成，因此每一次诊断均可追溯到具体临床概念，并可进一步分析模型受到哪些概念影响，从而实现模型审计、混杂因素分析以及概念干预。

研究首先构建了目前规模最大的放射学概念知识库。不同于传统直接利用整篇放射学报告进行训练的方法，CLEAR首先利用大语言模型自动解析报告，将复杂叙述拆分为独立临床观察。例如，一份胸片报告会被自动解析为“肺血管轻度充血”“无气胸”“左下肺肺不张”“肺容量降低”等多个独立概念，而不是作为一段完整文本参与训练。

经过全部数据处理，共获得368294个不同放射学观察，覆盖胸部X线中绝大多数临床征象。随后，这些概念被编码到统一语义空间，每一张胸片都可以表示为36.8万个概念的激活程度，而不再只是传统神经网络中的高维隐变量。

这种设计最大的特点在于，模型每一步推理均能够对应到真实放射学概念。例如，一张胸片被预测存在肺炎时，可以进一步查看模型认为“肺实变”“肺泡阴影”“肺纹理改变”等概念分别贡献了多少权重，从而使整个推理过程具备完全可解释性。

图1 CLEAR整体框架及基于放射学概念构建统一语义空间。

为了验证CLEAR性能，研究人员首先在三个独立胸部X线公开数据集上进行了零样本测试，包括VinDr-CXR、PadChest以及Indiana数据集。

结果显示，在VinDr-CXR数据集中，CLEAR平均AUROC达到78.2%，明显优于CheXzero以及BiomedCLIP等现有放射学视觉—语言模型；在Indiana数据集上，CLEAR在绝大多数疾病分类任务中同样保持领先；在包含55种放射学表现的PadChest数据集中，CLEAR平均AUROC达到70.0%，分别高于CheXzero、BiomedCLIP和OpenAI CLIP。

更重要的是，由于模型内部完全由临床概念组成，每次预测均可以生成概念审计图。研究人员发现，当模型正确识别肺不张时，得分最高的概念均对应真实放射学征象；而对于预测错误病例，模型同样能够指出导致误判的概念来源。例如，在肺炎识别中，PadChest数据集表现明显低于VinDr数据集。通过概念分析发现，错误最多的病例集中存在“间质性肺病”和“舌段肺不张”等影像征象，这些改变会掩盖肺炎导致的肺实变，因此成为模型混淆的重要来源。这种分析不仅解释了模型性能下降原因，也与放射学长期总结出的临床经验完全一致。

图2： CLEAR零样本疾病诊断性能及概念级模型审计。

在验证零样本能力之后，研究人员进一步评估CLEAR作为通用图像编码器的监督学习性能。他们利用MIMIC-CXR训练线性分类器，并在Stanford CheXpert测试集进行外部验证。

结果显示，CLEAR在肺不张、肺实变、肺部病变、肺炎、胸腔积液、气胸及支持装置等多个任务中均取得优于CheXzero、BiomedCLIP和OpenAI CLIP的表现，平均AUROC达到87.0%，同时具有更好的概率校准能力。这说明CLEAR不仅适用于零样本诊断，也能够作为高质量医学基础模型应用于监督学习任务。

相比性能提升，更重要的是CLEAR能够直接解释模型为什么做出当前预测。研究人员通过分析每一个概念对最终预测的贡献，发现模型不仅能够指出哪些放射学征象支持诊断，也能够揭示隐藏的数据偏倚。

例如，在纵隔增宽（Enlarged Cardiomediastinum，EC）预测中，研究人员发现模型最重要的贡献概念竟然不是纵隔相关征象，而是“肺不张”“肺塌陷”等肺部改变。这说明训练数据中大量EC病例同时伴随肺不张，模型逐渐学习到二者之间的统计相关性，而不是纵隔真正的影像学特征。

进一步分析MIMIC-CXR训练集后发现，EC阳性病例与阴性病例最大的区别确实集中在肺不张及胸腔积液等伴随征象，而不是纵隔轮廓本身。这证明训练数据存在明显的标签共现偏倚，使模型学习到错误诊断依据。

由于CLEAR所有预测均建立在临床概念之上，因此研究人员能够直接进行"概念干预"。他们保留与纵隔相关的49167个概念，而移除与肺不张相关的混杂概念，无需重新训练视觉编码器，仅重新训练最后一层分类器即可完成修正。

结果显示，EC分类AUROC由0.727提高至0.784，提高约7.8%。重新分析概念贡献后可以看到，模型最终主要依据"纵隔增宽""主动脉扩张""胸主动脉迂曲"等真正具有诊断意义的放射学征象完成预测，而不再依赖肺不张等错误线索。

研究人员指出，这种"发现偏倚—定位原因—概念干预—性能提升"的完整流程，是传统黑箱视觉模型无法实现的，也是CLEAR可审计能力最重要的体现。

图3: CLEAR利用概念分析发现数据混杂因素，并通过概念干预改善模型性能。

为了进一步验证CLEAR概念空间的价值，研究人员尝试利用其中最重要的少量临床概念构建概念瓶颈模型，而不是继续使用全部36.8万个概念。

首先，利用线性探针分析不同疾病最重要的概念，再结合大语言模型自动筛选，最终获得68个高质量放射学概念。这些概念覆盖肺不张、肺水肿、胸腔积液、肺部肿块、骨折以及支持装置等多个诊断方向。

随后，研究人员分别构建传统概念瓶颈模型和基于CLEAR概念空间的新型概念瓶颈模型，并与三位具有丰富经验的放射科专家进行比较。

结果显示，在CheXpert竞赛涉及的五项主要疾病中，两种概念瓶颈模型整体诊断能力均达到放射科专家水平。其中，CLEAR概念瓶颈模型在肺不张诊断中甚至超过专家医生，F1值和MCC均达到最高水平；在心脏增大、肺水肿及胸腔积液等任务中，与专家之间没有统计学差异；仅在肺实变诊断中略低于专家。

进一步在VinDr-CXR、PadChest及Indiana三个独立数据集验证后，CLEAR概念瓶颈模型依然保持较高准确率，在多个疾病上AUROC超过0.90，说明模型具有较好的跨地区泛化能力。

研究人员还邀请三位放射科专家，对CLEAR自动选择的重要概念进行盲法评估。结果显示，89.8%的概念被认为具有明确诊断意义，仅10.2%属于临床相关但不够特异，没有任何概念被认为是数据集伪特征或捷径。这说明CLEAR学习到的推理依据基本符合放射科医生真实诊断逻辑，而不是依赖数据集中的偶然关联。

进一步比较概念贡献发现，在肺不张诊断中，CLEAR重点关注"双肺基底部肺不张""肺容量下降"等直接征象，而传统概念瓶颈模型却赋予"大量胸腔积液"等非特异性改变较高权重。同样，在肺水肿预测中，CLEAR主要依据"肺血管充血""广泛肺水肿""双肺轻中度肺水肿"等经典影像征象，而传统模型更容易受到心脏增大等伴随表现影响。

这些结果进一步证明，CLEAR不仅具有较高预测性能，而且推理过程更加符合放射科医生的临床思维。

图4 基于CLEAR构建达到专家水平的可解释概念瓶颈模型。

本研究提出了CLEAR这一基于临床概念构建的可审计放射学基础模型，为医学人工智能从"黑箱预测"走向"透明推理"提供了新的技术路线。与传统视觉基础模型直接学习图像特征不同，CLEAR首先利用大语言模型从海量放射学报告中自动提取36.8万个临床概念，再建立统一概念空间，使每一次预测均能够分解为多个具体放射学征象的贡献。这种设计使模型推理过程首次能够完全映射到放射科医生熟悉的临床语言，实现真正意义上的可解释人工智能。

研究最重要的创新之一，是提出了概念级模型审计机制。传统人工智能模型虽然能够发现性能下降，却很难解释原因；CLEAR则能够进一步指出具体哪些临床概念导致错误，并区分是真实临床混杂因素还是数据集偏倚。例如，在纵隔增宽预测中，CLEAR发现模型错误依赖肺不张概念，并通过简单的概念干预便显著提高诊断性能。这种"诊断—干预—优化"流程，使人工智能模型首次具备类似软件调试的可维护能力，为未来临床部署提供了新的安全保障。

研究还证明，可解释性并不一定意味着性能下降。长期以来，人们普遍认为概念瓶颈模型虽然容易解释，但预测性能通常不如端到端模型。然而，CLEAR利用数据驱动方式自动筛选高质量概念，仅利用68个临床概念便构建出达到放射科专家水平的概念瓶颈模型，在多个疾病上甚至超过专家表现。这说明，只要概念空间足够完整且具有良好的语义表示，模型完全可以兼顾高性能与高可解释性。

研究人员也指出，CLEAR目前仍存在一定局限。模型学习到的概念贡献属于统计相关，而非真正因果关系，因此尚不能直接解释具体影像区域与概念之间的空间对应关系。此外，目前概念空间主要来源于英文公开放射学报告，不同国家和医院之间报告风格、专业术语以及疾病谱差异仍可能影响模型泛化能力。未来如果能够进一步建立覆盖多语言、多国家和多医院的大规模医学影像—报告数据库，并结合空间定位能力和因果推理机制，CLEAR有望进一步发展成为真正可信、可审计、可持续优化的新一代医学基础模型，为医生与人工智能协同诊疗提供更加可靠的技术支撑。

Han, T., Wu, R., Tian, Y. et al. CLEAR: an auditable foundation model for radiology grounded in clinical concepts. Nat. Biomed. Eng (2026). 

https://doi.org/10.1038/s41551-026-01741-4