MultiMed: Massively Multimodal and Multitask Medical Understanding

生物医学数据本质上是多模态的，包括电子健康记录、医学影像、数字病理学、基因组测序、可穿戴传感器等。将人工智能工具应用于这些多方面的传感技术，有潜力彻底改变人类健康和疾病的预测、诊断和管理。然而，目前生物医学人工智能的方法通常只针对一种或少数几种医学模态和任务进行训练和评估。这种限制阻碍了综合利用许多异构生物医学传感器之间丰富的相互连接信息的综合工具的开发。为了解决这个挑战，我们提出了MultiMed，一个基准测试，旨在评估和支持跨广泛的医学模态和任务的大规模学习。MultiMed包括10种医学模态的2.56百万个样本，如医疗报告、病理学、基因组和蛋白质数据，并分为11个具有挑战性的任务，包括疾病预测、蛋白质结构预测和医学问题回答。使用MultiMed，我们进行了全面的实验，对最先进的单模态、多模态和多任务模型进行了基准测试。我们的分析强调了跨许多相关模态和任务训练大规模医学模型的优势。此外，MultiMed还可以研究相关医学概念的泛化、对真实世界噪声数据和分布变化的鲁棒性以及新型模态组合以改善预测性能。MultiMed将公开提供并定期更新，并欢迎社区的贡献。

本论文旨在解决生物医学数据多模态和多任务训练和评估的挑战，以便开发全面的人工智能工具，利用多种异构生物医学传感器之间的丰富相互连接信息进行疾病预后、诊断和管理。

本论文提出了一个名为MultiMed的基准测试，旨在评估和实现跨多种医学模式和任务的大规模学习，包括疾病预后、蛋白质结构预测和医学问题回答等十一个具有挑战性的任务。

本文通过使用MultiMed数据集，对目前的单模态、多模态和多任务模型进行了全面的实验基准测试，证明了跨多种相关模态和任务训练大规模医学模型的优势。MultiMed数据集将公开并定期更新，欢迎社区贡献。

最近的相关研究包括使用深度学习技术进行生物医学图像分析和分类的研究，以及使用多模态数据进行疾病预后和诊断的研究，如“Multi-modal deep learning for cervical dysplasia diagnosis”和“Multi-modal deep learning for pancreatic cancer diagnosis”。