MMIST-ccRCC: A Real World Medical Dataset for the Development of Multi-Modal Systems

不同数据模式的获取可以增强我们对各种疾病的认识和理解，为更个性化的医疗保健铺平道路。因此，医学正逐步向生成大量多模式数据（如分子、放射学和组织病理学）的方向发展。虽然这似乎是利用数据为中心的机器学习方法的理想环境，但由于各种原因，大多数方法仍然集中在探索单个或一对模式上：i）缺乏可用的精选数据集；ii）难以确定最佳的多模态融合策略；和iii）患者缺失模态。在本文中，我们介绍了一个真实的多模式数据集MMIST-CCRCC，其中包括618名患有透明细胞肾细胞癌（ccRCC）的患者的2种放射学模式（CT和MRI）、组织病理学、基因组学和临床数据。我们提供了一个具有挑战性的场景，在每个患者中缺少一个或多个模态的情况下，进行12个月生存预测的单模态和多模态（早期和晚期融合）基准测试，缺失率从基因组数据的26％到MRI的90％以上不等。我们表明，即使存在严重的缺失率，模态的融合也会改善生存预测。此外，结合一种策略，根据可用的模态生成缺失模态的潜在表示，进一步提高了性能，突显了模态之间的潜在互补性。我们的数据集和代码在此处可用：https://multi-modal-ist.github.io/datasets/ccRCC。

本文旨在解决医学领域中多模态数据的融合问题，以及如何在缺失数据的情况下进行预测。

本文提出了一种基于多模态数据的肾细胞癌患者生存预测模型，并且探讨了在数据缺失情况下的预测方法。

本文提供了一个真实的多模态数据集MMIST-CCRCC，包括CT和MRI成像、组织学、基因组和临床数据。文章提供了单模态和多模态（早期和晚期融合）的基准测试，并且研究了缺失数据对预测的影响。结果表明，即使在数据缺失的情况下，模态融合也能够提高生存预测的准确性。此外，本文还提出了一种生成缺失数据的潜在表示的策略，进一步提高了预测性能。

近年来，医学领域中多模态数据的融合研究逐渐受到关注。相关论文包括：“Multi-modal Data Fusion in Healthcare: A Survey”和“Multi-modal Medical Image Fusion: A Survey of the State of the Art”。