MedImageInsight: An Open-Source Embedding Model for General Domain Medical Imaging

本研究介绍了MedImageInsight，这是一个开源的医学图像嵌入模型。MedImageInsight是在各种领域的医学图像、相关文本和标签上进行训练的，包括X射线、CT、MRI、皮肤镜、OCT、眼底摄影、超声、组织病理学和乳腺摄影。严格的评估表明，MedImageInsight在分类、图像搜索和微调任务方面能够达到最先进（SOTA）或人类专家级别的性能。具体来说，在公共数据集上，MedImageInsight在CT 3D医学图像检索方面实现了SOTA，同时在胸部X射线、皮肤科和OCT成像的疾病分类和搜索方面也实现了SOTA。此外，MedImageInsight在骨龄估计方面实现了人类专家级别的性能（在公共和合作伙伴数据上），在大多数其他领域的AUC值都高于0.9。当与文本解码器配对使用时，MedImageInsight在单个图像报告结果生成方面实现了接近SOTA级别的性能，而使用的参数不到其他模型的10％。与仅使用MIMIC-CXR数据微调GPT-4o进行相同任务相比，MedImageInsight在临床指标上表现更好，但在词汇指标上表现不如GPT-4o（后者创造了新的SOTA）。对于监管目的来说，MedImageInsight可以生成ROC曲线，根据临床需求调整灵敏度和特异度，并通过图像搜索提供基于证据的决策支持（这也可以实现检索增强生成）。在对胸部X射线图像搜索进行的独立临床评估中，MedImageInsight在AUC方面比其他公开基础模型的评估结果都要好得多（超过6个点），在AI公平性方面也明显优于其他模型（跨年龄和性别）。我们希望发布MedImageInsight将有助于促进医学影像AI研究和开发的共同进步。

本文旨在提出一种开源的医学影像嵌入模型MedImageInsight，解决医学影像分类、图像搜索和微调等任务中的问题。

MedImageInsight模型通过使用医学图像的文本和标签进行训练，跨多个领域实现了SOTA或人类专家级别的性能，并可以用于单幅图像报告结果生成和基于图像搜索的决策支持。

本文的实验结果表明，MedImageInsight在公共数据集上实现了多个领域中的SOTA，包括CT 3D医学图像检索、胸部X射线、皮肤科和OCT成像的疾病分类和搜索。此外，MedImageInsight在骨龄评估方面实现了人类专家级别的性能，并且可以与文本解码器配对，使用比其他模型少10％的参数实现接近SOTA级别的单幅图像报告结果生成。MedImageInsight还可以生成ROC曲线，根据临床需求调整灵敏度和特异度，并通过基于图像搜索的决策支持提供基于证据的决策支持。在胸部X射线的独立临床评估中，MedImageInsight在AI公平性方面表现出色，显著优于其他模型。

在近期相关研究中，还有一些相关的工作，如“Deep Learning for Medical Image Analysis”（Litjens等，2017）、“A Survey on Deep Learning in Medical Image Analysis”（Shen等，2017）和“Medical Image Analysis with Deep Learning”（Greenspan等，2016）等。