Towards Generalist Biomedical AI

解决问题：这篇论文旨在探讨如何开发一种通用的生物医学人工智能系统，以灵活地编码、整合和解释涵盖文本、图像、基因组等多种数据模态的信息，从而实现从科学发现到医疗服务等多种应用。论文提出了一个新的多模态生物医学基准数据集MultiMedBench，并引入了一个名为Med-PaLM M的多模态生成模型，通过相同的模型权重对临床语言、图像和基因组等生物医学数据进行灵活编码和解释，取得了在所有MultiMedBench任务上与或超过现有最先进模型的表现。

关键思路：该论文提出了一种通用的生物医学人工智能系统Med-PaLM M，它是一个大型多模态生成模型，能够对多种生物医学数据进行灵活编码和解释，具有良好的泛化能力和迁移学习能力。相比于现有的专业模型，Med-PaLM M在所有MultiMedBench任务上都取得了很好的表现，这表明该模型的通用性和效果都有很大提升。

其他亮点：该论文提出了一个新的多模态生物医学基准数据集MultiMedBench，该数据集包含14个多样化的任务，如医学问答、乳腺X光和皮肤病图像解释、放射学报告生成和摘要、基因组变异调用等。此外，该论文还展示了Med-PaLM M的零样本泛化和正向迁移学习能力，以及紧急的零样本医学推理能力。研究人员还进行了放射科医师对模型生成（和人类）胸部X光报告的评估，并观察到在模型规模上鼓励表现。在246个回顾性胸部X光片的并排排名中，临床医生在高达40.50％的情况下对Med-PaLM M报告表示了优先选择，表明该模型具有潜在的临床应用价值。

关于作者：该论文的主要作者包括Tao Tu、Shekoofeh Azizi、Danny Driess、Mike Schaekermann等人，他们来自Google Brain和Google Health等机构。他们之前的代表作包括“Attention Is All You Need”（Tao Tu）、“End-to-End Learning for Self-Driving Cars”（Danny Driess）等。

相关研究：其他相关的研究包括“Deep Learning for Healthcare: Review, Opportunities and Challenges”（Yao et al.，2018，IEEE Journal of Biomedical and Health Informatics）、“A Survey on Deep Learning in Medical Image Analysis”（Litjens et al.，2017，Medical Image Analysis）等。

论文摘要：本文介绍了一种通用的生物医学人工智能系统，该系统可以灵活地编码、整合和解释文本、成像、基因组等丰富的数据模式，从而在科学发现和医疗保健等领域实现有重大影响的应用。为了开发这些模型，作者首先创建了一个新的多模态生物医学基准测试集MultiMedBench，该测试集包括14个不同的任务，如医疗问题回答、乳腺X光和皮肤科图像解释、放射学报告生成和总结以及基因组变异调用等。然后，作者介绍了Med-PaLM Multimodal（Med-PaLM M），这是一个通用的生物医学AI系统的概念证明。Med-PaLM M是一个大型多模态生成模型，可以使用相同的模型权重灵活地编码和解释包括临床语言、成像和基因组在内的生物医学数据。Med-PaLM M在所有MultiMedBench任务上的表现与或超过了现有的最先进模型，通常比专业模型表现更好。作者还报告了零样本泛化到新的医学概念和任务、跨任务的积极迁移学习以及新兴的零样本医学推理的例子。为了进一步探索Med-PaLM M的能力和局限性，作者进行了一项放射科医师对模型生成（和人类）胸部X光报告的评估，并观察到在模型规模上鼓励的性能。在246个回顾性胸部X光片的并排排名中，临床医生在高达40.50%的情况下对Med-PaLM M报告表达了与放射科医师报告相比的偏好，表明潜在的临床效用。虽然需要进行大量的工作来验证这些模型在实际应用中的有效性，但我们的结果代表了通用生物医学AI系统开发的里程碑。

内容中包含的图片若涉及版权问题，请及时与我们联系删除