ECG Semantic Integrator (ESI): A Foundation ECG Model Pretrained with LLM-Enhanced Cardiological Text

利用深度学习技术进行心电图（ECG）分析，提高了心脏医疗诊断的准确性和效率。本研究基于深度学习在语义理解、特征提取和表示学习方面的能力，提出了一种新的多模态对比预训练框架，旨在提高12导联ECG信号的学习表示质量和鲁棒性。该框架包括两个关键组件，分别是心脏查询助手（CQA）和ECG语义集成器（ESI）。CQA采用检索增强生成（RAG）管道，利用大型语言模型（LLMs）和外部医学知识生成ECG的详细文本描述。生成的文本包含有关人口统计学和波形模式的信息。ESI整合对比损失和字幕损失，预训练ECG编码器以获得增强的表示。我们通过各种下游任务验证了我们的方法，包括心律失常检测和基于ECG的主体识别。实验结果表明，在这些任务中，我们的方法相对于强基线方法，包括监督和自监督学习方法以及先前的多模态预训练方法，有了显著的改进。

本论文旨在通过利用深度学习在语义理解方面的能力，特别是特征提取和表示学习，引入一种新的多模态对比预训练框架，以提高12导联心电图（ECG）信号的学习表示质量和鲁棒性。

该框架包括两个关键组件，Cardio Query Assistant（CQA）和ECG Semantics Integrator（ESI）。通过CQA整合检索增强生成（RAG）管道，利用大型语言模型（LLMs）和外部医学知识生成ECG的详细文本描述，丰富了有关人口统计信息和波形模式的信息。ESI整合了对比损失和字幕损失，预训练ECG编码器以增强表示。

实验结果表明，论文的方法在心律失常检测和基于ECG的主体识别等各种下游任务中都表现出了显着的改进。论文的实验设计合理，使用了多个数据集，开源了代码。值得进一步深入研究。

最近的相关研究包括《基于深度学习的心电图分类：现状和未来》、《使用深度学习进行心电图分类的研究进展》等。