M3H: Multimodal Multitask Machine Learning for Healthcare

人工智能有望从根本上提升医疗保健。开发一个整合多模态数据的多对多框架，用于多个任务，对于统一现代医学至关重要。我们介绍了M3H，这是一个可解释的多模态多任务机器学习医疗框架，它整合了来自表格、时间序列、语言和视觉数据的学习，用于监督二元/多分类、回归和无监督聚类。M3H涵盖了前所未有的医疗任务和问题领域，并在40种疾病诊断、16个医疗部门、三个医院运营预测和一个患者表型任务中，平均比传统单一任务模型表现提高了11.6%。它具有一种新颖的注意机制，平衡了自我利用（学习源任务）和交叉探索（学习交叉任务），并通过提出的TIM分数提供了可解释性，揭示了任务学习相互依赖的动态。其可适应的架构支持轻松定制和整合新的数据模态和任务，确立了它作为推进基于人工智能的医疗保健系统的强大、可扩展的解决方案。

本论文旨在开发一个整合多模态数据的多对多框架，以进行多个医疗任务的监督二元/多类分类、回归和无监督聚类，从而统一现代医学。

M3H是一个可解释的多模态多任务机器学习框架，通过平衡自我开发和交叉探索的注意机制，整合来自表格、时间序列、语言和视觉数据的学习，支持易于定制和集成新数据模式和任务，是一个强大的、可扩展的解决方案，用于推进AI驱动的医疗系统。

M3H在40种疾病诊断、3种医院运营预测和1种患者表型任务中，平均优于传统单任务模型11.6％。它具有一个新颖的注意机制，通过提出的TIM分数提供可解释性，揭示任务学习相互依赖的动态。该框架还支持易于定制和集成新数据模式和任务。

最近的相关研究包括：1. 'A survey of multimodal machine learning'；2. 'Multimodal machine learning: A survey and taxonomy'；3. 'Multimodal machine learning: A review of the state of the art'等。