A Generalist Learner for Multifaceted Medical Image Interpretation

目前的医学人工智能系统通常只限于狭窄的应用范围，这限制了它们在临床实践中的广泛应用。为了解决这个限制，我们提出了MedVersa，这是一个通用的学习器，可以实现医学图像解释的灵活学习和任务分配。通过利用一个大型语言模型作为可学习的协调器，MedVersa可以从视觉和语言监督中学习，支持多模态输入，并执行实时任务规定。这种多功能性使得MedVersa可以适应各种临床场景，并执行多方面的医学图像分析。我们介绍了MedInterp，这是迄今为止最大的医学图像解释多模态数据集，包括跨足3种模态的11个任务的超过1300万个注释实例，以支持MedVersa的开发。我们的实验表明，MedVersa在9个任务中实现了最先进的性能，有时比专家同行的表现更好10%以上。MedVersa是第一个展示多模态生成医学AI在实现多模态输出、输入和动态任务规定方面的可行性的系统，突显了它作为全面医学图像分析的多功能系统的潜力。这种对医学图像解释的通用方法为更适应性和高效的AI辅助临床决策铺平了道路。

MedVersa论文旨在解决医学人工智能系统应用狭窄的问题，提出了一种通用学习器MedVersa，能够灵活学习和任务匹配，适应各种临床场景，实现多方面的医学图像分析。

MedVersa使用大型语言模型作为可学习的协调器，从视觉和语言监督中学习，支持多模态输入，实时任务规范，实现多模态生成的医学人工智能，成为综合医学图像分析的多功能系统。

MedVersa使用MedInterp数据集进行实验，该数据集是迄今为止最大的医学图像解释多模态数据集，包含超过1300万个注释实例，跨足了11个任务和3个模态。在9个任务中，MedVersa取得了最先进的性能，有时比专家同行高出10%。

最近的相关研究包括使用深度学习技术进行医学图像分类和分割的研究，如“Deep Learning for Medical Image Classification- Survey, Taxonomy, and Challenges”和“Deep Learning for Medical Image Segmentation- A Survey”。