Nat. Commun. | 多模态基础模型利用文本信息进行医学影像预测

多模态基础模型在医学图像解读领域表现出令人瞩目的能力，但关于这些模型如何整合图像与文本信息，以及两种模态在决策过程中各自发挥的作用，仍缺乏深入理解。研究人员利用1090个真实医学病例，对8种开放源代码和商业化多模态基础模型进行了系统评估。

结果发现，模型的诊断能力在很大程度上来源于文本信息，而非图像本身。随着文本中包含的诊断线索增加，模型准确率持续提高。然而，这种对文本的依赖具有双重效应。当文本包含错误暗示时，即使图像本身足以支持正确诊断，模型仍会被误导。例如，o3模型在仅依据图像时准确率达到84%，但加入具有误导性的病史描述后准确率下降至28%。在长篇临床病例分析中，当文本已经提供充分诊断信息时，增加图像往往不能提高模型性能，甚至会导致性能下降。

研究表明，当前多模态医学人工智能模型在诊断推理方面展现出巨大潜力，但其性能主要由文本驱动，而非真正意义上的视觉理解能力。

随着临床信息复杂度不断增加，人工智能正在逐渐参与医学诊断和临床决策支持。传统医学人工智能模型通常针对特定任务设计，例如糖尿病视网膜病变检测、肺结节识别或病理切片分类等。而近年来大型语言模型的发展，使人工智能在医学考试、病例推理以及临床问答等文本任务中展现出接近甚至超过专家水平的能力。

然而，真实临床诊断并不仅依赖文本信息。医生需要综合分析病史、体格检查、实验室结果以及医学影像等多种信息来源。因此，多模态基础模型被认为可能成为下一代临床人工智能的重要方向。

尽管已有研究报道GPT-4V等模型在医学图像任务中取得优异成绩，但也有研究发现其在许多视觉诊断任务中的表现远低于专业医生或专门训练的医学模型。目前尚不清楚这些模型究竟是在“看图”，还是在利用伴随文本中的信息完成推理。

为回答这一问题，研究人员构建了包含1090个多模态医学案例的大规模评测体系，系统分析图像和文本在多模态诊断中的相对贡献，并进一步研究模型在面对错误文本信息时的行为模式。

研究人员收集了来自《新英格兰医学杂志》Image Challenge和Clinicopathological Conference的1090个医学案例，涵盖皮肤病学、放射学、眼科学及其他临床领域。研究评估了GPT-5、o3、GPT-4V、GPT-4V Turbo、Gemini Pro、Llama-3.2、MedGemma和LLaVA-Med等八种视觉语言模型。对于每个案例，分别测试模型在仅使用图像、仅使用文本以及同时使用图像和文本三种条件下的表现。同时构建包含错误诊断暗示的虚构病史和虚构专家意见，用于分析模型对误导性文本的敏感性。此外，在69个复杂临床病理讨论案例中，研究进一步比较不同信息组合（文本、图像、表格和图注）对诊断性能的影响。

研究首先比较了多种模型与医生在人类高难度医学图像挑战题中的表现。

在945个病例上，GPT-5取得84%的总体准确率，o3达到81%，均明显高于普通医学网站参与者约49%的平均正确率以及三位内科医生约52%的正确率。GPT-4V Turbo准确率为63%，而MedGemma和LLaVA-Med分别为52%和31%。

进一步分析发现，不同模型在不同领域表现存在差异。对于皮肤病学图像，模型表现普遍较好，而在放射学影像中表现明显下降。研究还发现，模型表现与病例发布时间关系不大，因此数据泄漏并非主要原因。

这些结果表明，目前最先进的大型多模态模型在复杂医学诊断任务中已经能够达到甚至超过一般医生水平。

图1: 多模态模型中图像与文本对诊断性能的贡献分析。

研究进一步分析模型究竟依赖图像还是文本完成诊断。结果发现，当病例描述非常简短，仅包含类似“最可能的诊断是什么”之类的问题时，多模态模型表现与图像模式基本一致。然而随着病例文字描述不断增加，模型准确率持续提高。

对于o3模型，当文本信息极其丰富时，仅使用文本即可达到与图文联合输入几乎相同的准确率，而明显优于仅使用图像的情况。GPT-5也呈现相同趋势。有趣的是，随着文本增加，所有模型表现均明显改善，而医生表现几乎没有变化。医生在文本较少和文本较多两组病例中的准确率基本相同。

研究还发现，在困难病例中，增加文本带来的收益远大于增加图像带来的收益。与此同时，模型回答稳定性也随着文本长度增加而提高，说明模型对文本内容高度依赖。这些结果提示，目前所谓“多模态推理”很大程度上仍然是以文本推理为核心，而图像主要发挥辅助作用。

为了评估模型是否真正理解图像，研究设计了误导实验。研究选取348个仅凭图像即可被GPT-4V Turbo正确诊断的病例，并人为加入错误诊断暗示。误导信息包括两种形式：虚构同事意见和虚构患者病史。

结果显示，即使图像信息保持不变，仅增加错误文字描述就能显著降低模型准确率。

对于GPT-4V Turbo，加入错误同事建议后准确率从100%下降至27%；加入虚构病史后进一步下降至6.8%。o3模型虽然相对稳健，但准确率也从84%下降至78%，进一步下降至28%。更值得注意的是，模型往往直接选择文本暗示的错误疾病，而忽略图像中的关键诊断证据。

医生复核发现，许多错误具有潜在临床风险。例如，模型会把典型水痘皮疹误判为梅毒，把气胸误判为椎体骨折，或者将硬膜外血肿误判为蛛网膜下腔出血。研究认为，这种现象类似于临床实践中的“锚定偏差”，即过度依赖已有文字信息而忽略新的视觉证据。

图2: 多模态模型对误导性文本的敏感性分析。

研究人员进一步分析模型推理过程中的典型案例。在部分复杂病例中，模型能够利用病史中的流行病学信息、症状组合以及疾病特征进行有效推理。例如，通过患者来自特定流行地区以及症状特征推断麻风病，或者根据紫外灯检查结果识别红糠疹。

然而，模型也表现出明显视觉理解缺陷。在一些病例中，图像本身已经提供关键诊断证据，但模型仍然忽略这些视觉特征，而选择符合文本描述的疾病。

研究认为，目前模型更擅长利用语言知识库完成概率推断，而非真正识别复杂医学图像中的关键视觉特征。

图3: 误导性文本导致的典型临床错误案例。 

研究随后评估模型在69个临床病理讨论案例中的表现。这些病例包含完整病史、实验室结果、医学图像以及专家讨论过程，更接近真实临床环境。

结果发现，当文本已经高度丰富时，增加图像信息不仅没有提升模型性能，反而在部分模型中导致诊断准确率下降。例如GPT-4V在加入图像后正确诊断率显著下降。进一步比较文本、图像、图注和表格等不同信息组合后发现，模型性能主要由文本驱动。无论是否加入图像，整体诊断质量变化都非常有限。

研究认为，在复杂临床推理场景中，多模态模型实际上主要依赖病史和检查结果文本进行诊断，而图像贡献较小。

图4: 临床病理讨论病例中的多模态推理表现。 

本研究系统揭示了当前多模态医学基础模型的一个核心特征：它们更多是在“阅读”，而不是在“观察”。

虽然GPT-5、o3等先进模型在复杂医学病例中表现优于医生，但这种优势主要来源于对文本信息的利用。当病例描述详细时，模型能够充分调动其庞大的语言知识库完成诊断推理。然而，当文本不足时，模型性能迅速下降；当文本错误时，模型又极易受到误导。

研究结果说明，目前多模态模型尚未真正实现图像与文本的平衡融合。相反，文本在决策过程中占据主导地位，图像常常只是辅助信息来源。

这一发现具有重要临床意义。一方面，在拥有高质量病历记录和专家报告的场景下，多模态模型可能成为强大的辅助诊断工具。另一方面，如果电子病历存在错误、偏见或不完整信息，模型可能进一步放大这些错误，并产生具有临床风险的诊断结论。

研究人员指出，人类医生同样会受到既往报告和病史的影响，因此模型出现类似偏差并不意外。但随着人工智能逐渐进入临床实践，如何避免文本锚定效应、提高模型真正的视觉理解能力，将成为未来医学多模态人工智能研究的重要方向。

总体而言，该研究提出了一个重要观点：当前医学多模态基础模型取得高性能的关键并非强大的视觉能力，而是对文本信息的深度利用。因此，在评价未来医学视觉语言模型时，不仅要关注总体准确率，更需要区分模型究竟是在“看见”疾病，还是仅仅在“阅读”疾病。

Buckley, T.A., Diao, J.A., Srivastava, C.N. et al. Multimodal foundation models exploit text to make medical image predictions. Nat Commun (2026). 

https://doi.org/10.1038/s41467-026-74207-5