M3H: Multimodal Multitask Machine Learning for Healthcare

最近人工智能的突破有望从根本上增强我们对医疗保健的研究和理解。开发一个集成的多对多框架，利用多种数据模态输入进行多个医学任务的分析建模，对于统一理解现代医学至关重要。在这项工作中，我们介绍了M3H，一种可解释的医疗保健多模态多任务机器学习框架，它整合了来自广泛医学任务类别和机器学习问题类别的多种多模态输入的学习。框架的模块化设计确保了其可推广的数据处理、任务定义和快速模型原型设计，适用于临床和运营医疗保健环境。我们通过对41个医学任务和4个机器学习问题类别上训练的四种模态（表格、时间序列、语言和视觉）的模型进行验证，评估了M3H框架。我们的结果表明，M3H一致地产生优于规范单任务模型的多任务模型（在16个医学部门的37种疾病诊断、三个医院运营预测和一个患者表型任务中，通过1.1-37.2%的性能提升），跨越了监督二元分类、多类分类、回归和聚类的机器学习问题类别。此外，该框架引入了一种新颖的注意机制，以平衡自我开发（专注于学习源任务）和交叉探索（鼓励从其他任务学习）。此外，M3H提供了关于如何联合学习其他任务对源任务学习的影响的可解释性见解，使用提出的TIM分数，揭示了任务相互依赖的动态。其可适应的架构促进了定制和集成，将其建立为未来人工智能驱动的医疗保健系统的强大可扩展的候选解决方案。

介绍了一个名为M3H的可解释的多模态多任务机器学习框架，旨在整合多种数据模态输入，用于分析建模多种医疗任务，包括监督二分类、多类分类、回归和聚类等。

M3H框架通过整合来自多种模态的数据，实现多任务学习，并引入了一种新颖的注意机制，平衡自我利用和交叉探索，同时提供了可解释性洞见，有助于理解任务间的动态关系。

该框架在41个医疗任务上进行了验证，结果表明，M3H框架可以在16个医疗部门的37种疾病诊断、三种医院运营预测和一个患者表型任务中，比单一任务模型表现更好。此外，该框架具有可适应性的架构，有助于定制和集成，成为未来AI驱动的医疗系统的强大和可扩展的候选解决方案。

与此相关的研究包括：1.《Deep Learning for Healthcare: Review, Opportunities and Challenges》；2.《A Survey of Deep Learning in Healthcare》；3.《A Review of Deep Learning in Medical Imaging: Techniques and Applications》等。