Automated Ensemble Multimodal Machine Learning for Healthcare

机器学习在医学和医疗保健中的应用已经导致了许多诊断和预测模型的创建。然而，尽管它们很成功，但目前的方法通常使用来自单一模态的数据进行预测。这与临床医生的决策形成鲜明对比，后者使用来自多个来源的各种信息。虽然存在几种多模态机器学习方法，但开发多模态系统仍存在重大挑战，这些挑战妨碍了临床采用。在本文中，我们介绍了一个多模态框架AutoPrognosis-M，它使用自动化机器学习将结构化临床（表格）数据和医学影像集成起来。AutoPrognosis-M包括17个影像模型，包括卷积神经网络和视觉转换器，并且还有三种不同的多模态融合策略。在使用多模态皮肤病变数据集进行说明性应用时，我们强调了多模态机器学习的重要性以及使用集成学习结合多个融合策略的强大作用。我们已经将我们的框架作为工具向社区开放源代码，希望它能加速医疗保健中多模态机器学习的采用并促进进一步的创新。

本论文旨在解决当前医疗领域中单模态机器学习模型无法充分利用多源数据的问题，提出了一种多模态自动机器学习框架AutoPrognosis-M。

AutoPrognosis-M框架可以将结构化的临床数据和医学影像数据进行多模态融合，包括17个医学影像模型和3种融合策略，使用集成学习方法进行模型融合。

论文使用了多模态皮肤病数据集进行了实验，展示了多模态机器学习的重要性和集成学习方法的威力，并开源了AutoPrognosis-M框架。该框架有望加速多模态机器学习在医疗领域的应用并推动更多创新。

与本论文相关的研究包括：1. Multimodal Machine Learning: A Survey and Taxonomy (2020)；2. Multimodal Deep Learning for Medical Image Analysis: A Review (2021)；3. Multimodal Fusion for Medical Image Diagnosis Using Convolutional Neural Network and Self-Organizing Map (2021)。