DRUGONE
心脏磁共振成像(cardiac MRI)能够提供丰富的结构和功能信息,是心血管疾病评估的重要工具。然而,深度学习模型通常依赖大量人工标注数据,并且难以在不同医院、扫描设备和疾病类型之间保持稳定性能。研究人员提出一种可泛化的自监督深度学习系统,通过对比学习将心脏MRI影像与对应的临床报告进行联合训练,使模型能够学习疾病的高层语义特征,而无需大量人工标注。在超过一万例临床心脏MRI数据上训练后,该模型能够在多个外部数据集上稳定区分不同心脏疾病,并在多种下游任务中表现出良好的迁移能力。该研究为构建心脏MRI基础模型提供了重要基础,并展示了自监督学习在医学影像领域的潜力。

心脏MRI是评估心肌结构、功能和血流的重要影像手段,在心肌病、心衰和先天性心脏病等疾病诊断中具有重要价值。然而,传统的深度学习模型通常需要大量专家标注的数据,而在医学影像领域,高质量标注获取困难且成本高昂。
此外,不同医院之间的扫描协议、设备型号和患者群体存在差异,使得在单中心数据上训练的模型往往难以推广到新的数据环境。近年来,自监督学习被证明可以利用未标注数据学习通用表示,从而减少对人工标注的依赖。
在医学影像中,影像报告包含大量关于疾病特征的自然语言描述,因此可以作为弱监督信号。通过将影像与文本报告配对进行对比学习,模型能够学习到更加通用的语义表示。研究人员将这一思想扩展到心脏MRI这一具有多视角和时间维度的复杂影像任务,构建可泛化的深度学习系统。

图1:自监督心脏MRI深度学习系统框架。
方法
研究人员构建了一个包含多个医疗中心数据的心脏MRI数据集,并收集对应的放射科报告作为文本信息。影像数据包括多个视角和时间序列,文本数据则包含对心脏结构和功能的临床描述。
模型由两个编码器组成:视觉编码器用于处理MRI视频序列,文本编码器用于处理报告文本。通过对比学习,模型被训练去匹配真实的影像–报告对,同时区分不匹配的组合,从而在共享嵌入空间中学习到疾病相关特征。
训练完成后,冻结编码器参数,并将其应用于新的数据集,通过提取嵌入表示进行分类、聚类或下游任务微调,从而评估模型的泛化能力。
结果
自监督学习得到可分离的疾病表示
研究人员首先分析模型在训练过程中的嵌入表示变化。随着训练进行,模型逐渐能够在低维空间中将不同类型的心脏疾病分开,即使没有显式标签,仍能形成清晰的结构。
在外部公开数据集上,模型能够将肥厚型心肌病、扩张型心肌病以及右心功能异常等疾病区分开,说明模型学习到了具有临床意义的特征。

图2: 对比学习预训练使模型能够学习人口学特征和病理生理学表示。
在外部数据集上的泛化能力
研究人员将训练好的模型应用于来自不同国家和不同设备的外部数据集。结果显示,该系统在未进行额外训练的情况下仍能保持良好的区分能力。
与传统监督学习模型相比,该方法对扫描参数变化更加稳健,说明自监督学习有助于获得更通用的影像表示。
下游任务中的性能提升
研究人员进一步在多个具体任务中测试模型,包括心室功能评估、疾病分类以及结构分割。通过在少量标注数据上进行微调,预训练模型能够显著提高性能。
特别是在小数据集任务中,使用预训练模型可以减少对标注数量的需求,同时保持较高的准确度,这对于医学影像研究具有重要意义。

图3: 利用对比学习预训练的视觉编码器实现临床级左心室射血分数(LVEF%)回归预测。
大规模数据训练带来的性能提升
研究人员分析了训练数据规模对模型性能的影响。随着训练数据增加,模型在多个任务上的表现持续提高,并未出现明显饱和。
这一结果表明,类似自然语言和计算机视觉领域的基础模型,心脏MRI也可以通过大规模数据训练获得更强的通用能力。

图4:仅基于cine MRI序列实现高数据效率的疾病诊断。
讨论
本研究提出的自监督深度学习系统证明,利用影像与文本报告进行对比学习,可以构建具有良好泛化能力的心脏MRI基础模型。与传统依赖人工标注的方法相比,该策略能够充分利用临床工作流程中自然产生的数据,从而降低数据标注成本。
模型在不同医院和不同扫描条件下均表现稳定,说明学习到的特征具有较强的通用性。这种能力对于未来的临床应用至关重要,因为真实医疗环境中的数据具有高度异质性。
研究人员认为,该系统为构建医学影像基础模型提供了重要方向。未来可以通过引入更大规模的数据集、更多模态信息以及更精细的文本描述,进一步提升模型性能。同时,该方法有望用于疾病表型分析、遗传研究以及临床决策支持,为心血管影像分析带来新的研究范式。
整理 | DrugOne团队
参考资料
Shad, R., Zakka, C., Kaur, D. et al. A generalizable deep learning system for cardiac MRI. Nat. Biomed. Eng (2026).
https://doi.org/10.1038/s41551-026-01637-3

内容为【DrugOne】公众号原创|转载请注明来源
内容中包含的图片若涉及版权问题,请及时与我们联系删除


评论
沙发等你来抢