EEGFormer: Towards Transferable and Interpretable Large-Scale EEG Foundation Model

自我监督学习已经成为自然语言处理和计算机视觉领域非常有效的方法。在医学应用领域，例如癫痫检测和波形分析等，由于存在大量可用的未标记数据，自我监督学习也可以应用于脑信号（例如脑电图数据）。目前，利用自我监督学习进行脑电建模的现有研究主要集中在对每个与单个下游任务对应的数据集进行预训练，这不能充分利用丰富的数据，且可能导致缺乏泛化性的次优解决方案。此外，这些方法依赖于端到端模型学习，不易为人类理解。本文提出了一种新颖的脑电基础模型——EEGFormer，它在大规模复合脑电数据上进行预训练。预训练模型不仅可以学习适用于各种下游任务的通用脑电信号表示，而且可以提供有用模式的可解释结果。为了验证我们模型的有效性，我们对其在各种下游任务上进行了广泛评估，并评估其在不同转移设置下的性能。此外，我们展示了学习的模型如何展现可转移的异常检测性能，并通过自我监督学习提供有价值的获取模式的可解释性。

本论文旨在利用自监督学习方法，针对大量的EEG数据进行预训练，提出一种通用的EEG基础模型EEGFormer，以提高EEG信号的表示能力和泛化性能，并在各种下游任务上进行广泛评估。

论文提出了一种EEGFormer模型，采用自监督学习方法，预训练大量EEG数据以学习通用的EEG信号表示，并可应用于多个下游任务。此外，该模型还提供了可解释的结果，有助于了解数据中的有用模式。

论文在多个下游任务上评估了EEGFormer模型的性能，并展示了其在异常检测方面的可转移性能。此外，论文提出的自监督学习方法可以充分利用大量的未标记数据，并且提供了可解释的结果。论文使用的数据集和代码均已公开。

近年来，自监督学习在自然语言处理和计算机视觉领域得到广泛应用。在脑电图数据方面，现有的自监督学习方法主要集中在每个单独数据集上进行预训练，缺乏泛化能力。相关研究包括：《Self-Supervised Learning for Electroencephalogram Classification》、《Self-Supervised Learning for EEG-based Emotion Recognition》等。