SleepFM: Multi-modal Representation Learning for Sleep Across Brain Activity, ECG and Respiratory Signals

睡眠是一个复杂的生理过程，可以通过记录脑电、心电和呼吸活动等多种方式进行评估。我们整理了一个包含超过14,000个参与者、超过100,000小时多模式睡眠记录的大型多项式睡眠数据集。利用这个广泛的数据集，我们开发了SleepFM，这是第一个用于睡眠分析的多模式基础模型。我们表明，与标准的成对对比学习表示相比，一种新颖的留一法对比学习方法显着提高了下游任务的性能。在SleepFM的学习嵌入上训练的逻辑回归模型，在睡眠阶段分类（宏AUROC 0.88 vs 0.72和宏AUPRC 0.72 vs 0.48）和睡眠呼吸障碍检测（AUROC 0.85 vs 0.69和AUPRC 0.77 vs 0.61）方面优于端到端训练的卷积神经网络（CNN）。值得注意的是，学习的嵌入在从90,000个候选项中检索其他模态的相应记录片段方面实现了48%的前1平均准确率。这项工作展示了整体多模式睡眠建模的价值，以充分捕捉睡眠记录的丰富性。SleepFM是开源的，可在https://github.com/rthapa84/sleepfm-codebase上获得。

论文旨在解决睡眠分析中多模态数据的综合建模问题，提出了SleepFM模型。该模型可以用于睡眠阶段分类和睡眠呼吸障碍检测等任务。

SleepFM模型是一种基于对比学习的多模态建模方法，通过离线训练学习多个模态之间的相关性，然后将学习到的表示用于下游任务。

论文使用了一个包含14,000个参与者的大型多模态睡眠数据集，并展示了SleepFM模型在睡眠阶段分类和睡眠呼吸障碍检测等任务上的优越性。此外，论文还展示了SleepFM模型在多模态数据检索任务中的良好表现，并公开了代码。

最近的相关研究包括使用深度学习方法进行睡眠分析的研究，以及使用多模态数据进行建模的研究。其中一些研究的论文标题包括《DeepSleepNet: A Model for Automatic Sleep Stage Scoring based on Raw Single-Channel EEG》和《Multimodal Sleep Stage Classification using Convolutional Neural Networks》。