EMERGE: Integrating RAG for Improved Multimodal EHR Predictive Modeling

多模态电子健康记录（EHR）数据的整合显著提高了临床预测能力。然而，目前利用临床笔记和多变量时间序列EHR数据的模型往往缺乏精确的医学背景，难以完成精准的临床任务。以前使用知识图谱（KGs）的方法主要集中在结构化知识提取上。为了解决这个问题，我们提出了EMERGE，这是一个检索增强生成（RAG）驱动的框架，旨在增强多模态EHR预测建模。我们的方法通过提示大型语言模型（LLMs）从时间序列数据和临床笔记中提取实体，并将它们与专业的PrimeKG对齐以确保一致性。除了三元组关系，我们还包括实体的定义和描述，以提供更丰富的语义。提取的知识然后用于生成与任务相关的患者健康状态摘要。这些摘要与其他模态融合，利用具有交叉注意力的自适应多模态融合网络。在MIMIC-III和MIMIC-IV数据集上进行的住院死亡和30天再入院任务的广泛实验表明，与基线模型相比，EMERGE框架具有更优异的性能。全面的消融研究和分析强调了每个设计模块的效力以及框架对数据稀疏性的鲁棒性。EMERGE显著增强了医疗保健中多模态EHR数据的使用，弥合了与明确的临床预测相关的微妙医学背景之间的差距。

提出了一个名为EMERGE的Retrieval-Augmented Generation (RAG)框架，旨在增强多模态电子健康记录（EHR）的预测建模能力。该框架试图解决EHR数据中缺乏医学上下文的问题。

EMERGE框架使用大型语言模型（LLMs）从时间序列数据和临床笔记中提取实体，并将其与专业的PrimeKG对齐以确保一致性。提取的知识用于生成与任务相关的患者健康状态摘要，并与其他模态融合。

EMERGE框架在MIMIC-III和MIMIC-IV数据集上进行了广泛的实验，用于住院死亡和30天再入院任务。结果表明，EMERGE框架相对于基线模型具有显著的优越性。该论文的亮点包括使用知识图谱提取实体，使用自适应多模态融合网络进行融合，并进行了全面的消融研究。

最近的相关研究包括使用知识图谱进行结构化知识提取的方法，以及使用大型语言模型进行自然语言处理的方法。相关论文包括“Graph2Seq：使用图形结构的序列到序列学习”和“BERT：预训练深度双向Transformer表示”。