Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI

目前基于脑机交互（BCI）的深度学习模型通常是为特定数据集和应用设计的，限制了模型的规模，从而降低了其感知能力和通用性。最近，大语言模型（LLM）在文本处理方面取得了前所未有的成功，促使我们探索大脑电模型（LEMs）的能力。我们希望通过无监督的预训练，LEMs可以突破不同任务类型的脑电数据集的限制，并获得EEG信号的通用感知能力。然后，这些模型可以针对不同的下游任务进行微调。然而，与文本数据相比，EEG数据集的容量通常较小，格式变化很大。例如，电极数量可能不匹配，数据样本长度不等，任务设计各异，信噪比低。为了克服这些挑战，我们提出了一种统一的EEG基础模型，称为大脑模型（LaBraM）。LaBraM通过将EEG信号分成EEG通道补丁，实现跨数据集学习。我们使用向量量化神经光谱预测来训练一个语义丰富的神经分词器，将连续的原始EEG通道补丁编码为紧凑的神经代码。然后，我们通过预测掩码EEG通道补丁的原始神经代码来预训练神经Transformer。LaBraMs在约20个数据集中的各种类型的EEG信号中预训练了大约2500小时，并在多种不同类型的下游任务上进行了验证。异常检测、事件类型分类、情绪识别和步态预测的实验表明，我们的LaBraM在各自领域的所有比较的SOTA方法中表现优异。我们的代码可在https://github.com/935963004/LaBraM上找到。

本篇论文旨在探索大规模脑电图（EEG）模型的潜力，以解决当前EEG深度学习模型的局限性，从而提高其感知能力和泛化能力。同时，该论文也试图解决EEG数据集格式多样、样本量较小等挑战。

该论文提出了一种基于大脑模型（LaBraM）的解决方案，通过将EEG信号分段成EEG通道补丁，使用向量量化神经谱预测来训练语义丰富的神经分词器，将连续的原始EEG通道补丁编码为紧凑的神经代码。然后，使用预测掩码EEG通道补丁的原始神经代码来预训练神经Transformer。该模型在多个下游任务上进行了验证。

该论文的亮点包括：1. 提出了一种基于大脑模型的解决方案，可以进行跨数据集学习；2. 该模型在多个下游任务上进行了验证，包括异常检测、事件类型分类、情感识别和步态预测；3. 该论文提供了开源代码，便于其他研究者进行进一步研究。

近期在该领域的相关研究包括：1.《A Survey of Deep Learning-Based Brain-Computer Interfaces: Approaches and Applications》；2.《Deep Learning for EEG-Based Motor Imagery Classification: A Review of Current Approaches》；3.《EEG-Based Emotion Recognition Using Hybrid Deep Learning Model with Improved Features》等。