Contrastive Learning on Multimodal Analysis of Electronic Health Records

电子健康记录（EHR）系统包含丰富的多模态临床数据，包括结构化数据如临床编码和非结构化数据如临床笔记。然而，许多现有的以EHR为重点的研究传统上要么集中于单个模态，要么以相当简单的方式合并不同的模态。这种方法通常会导致结构化和非结构化数据被视为分开的实体，忽略了它们之间固有的协同作用。具体而言，这两种重要的模态包含临床相关、不可分割和互补的健康信息。通过对这两种数据模态进行联合分析，可以捕获患者医疗史的更完整图像。尽管多模态对比学习在视觉语言方面取得了巨大成功，但在多模态EHR领域的潜力仍未得到充分开发，特别是在理论理解方面。为了适应多模态EHR数据的统计分析，在本文中，我们提出了一种新的多模态特征嵌入生成模型，并设计了一种多模态对比损失来获得多模态EHR特征表示。我们的理论分析证明了多模态学习相对于单模态学习的有效性，并将损失函数的解与点间互信息矩阵的奇异值分解相连接。这种联系为针对多模态EHR特征表示学习的隐私保护算法铺平了道路。仿真研究表明，所提出的算法在各种配置下表现良好。我们进一步验证了所提出算法在真实世界EHR数据中的临床实用性。

本文旨在解决EHR数据中结构化和非结构化数据分别处理的问题，提出了一种新的多模态特征嵌入生成模型和多模态对比损失的方法。

本文提出的多模态特征嵌入生成模型和多模态对比损失方法，能够有效地将结构化和非结构化数据融合在一起，提取出更全面的患者医疗历史信息。

本文提出的算法在多种配置下表现良好，实验结果证明了其在实际EHR数据中的临床实用性。此外，本文的理论分析表明，多模态学习相对于单模态学习更有效，并将解决损失函数的解与点间互信息矩阵的奇异值分解联系起来，为针对多模态EHR特征表示学习的隐私保护算法铺平了道路。

最近的相关研究包括：《Deep EHR: A Survey of Recent Advances in Deep Learning Techniques for Electronic Health Record (EHR) Analysis》、《Multi-modal Machine Learning in Healthcare: A Survey》等。