INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and Prognosis

综合多个数据来源的信息在现代医学实践中起着至关重要的作用。由于缺乏公开可用的多模式医学数据集，目前人工智能在医学中的应用通常集中于单一模态数据。为了解决这个限制，我们介绍了INSPECT，它包含了一个大型风险肺栓塞（PE）患者队列的去识别化纵向记录，以及多个结果的基本真实标签。INSPECT包含了来自19,402名患者的数据，包括CT图像、放射学报告印象部分和结构化电子健康记录（EHR）数据（即人口统计信息、诊断、程序、生命体征和药物）。使用INSPECT，我们开发并发布了一个基准，用于评估多种重要的PE相关任务的几种基线建模方法。我们评估了仅图像、仅EHR和多模式融合模型。训练模型和去识别化数据集可在数据使用协议下用于非商业用途。据我们所知，INSPECT是集成3D医学成像和EHR的最大多模式数据集，用于可重复的方法评估和研究。

论文试图解决如何从多个数据源中综合信息的问题，特别是在医疗领域中缺乏公开的、多模态的医学数据集的情况下。

论文提出了一个包含多种数据源的大型数据集INSPECT，其中包括CT图像、放射学报告印象部分和结构化的电子病历数据，用于评估多种与肺栓塞相关的任务。通过INSPECT，论文开发了基准模型，并评估了图像、电子病历和多模态融合模型。该数据集是目前最大的融合3D医学成像和电子病历的多模态数据集，用于可重复性方法评估和研究。

该数据集包含19,402名患者的数据，提供了一个用于评估多种与肺栓塞相关的任务的基准模型。论文提供了已训练模型和去识别化的数据集以供非商业使用。该数据集的开发填补了医疗领域中缺乏公开的、多模态的医学数据集的空白。

最近的相关研究包括：1.《基于深度学习的肺栓塞预测模型》2.《结合医学图像和病历数据的多模态深度学习模型在肺癌诊断中的应用》3.《基于深度学习的医学图像分析综述》