S-JEPA: towards seamless cross-dataset transfer through dynamic spatial attention

本文旨在探讨联合嵌入预测架构（JEPAs）在无缝跨数据集转移EEG信号处理方面的应用。近年来，自监督学习已成为各个领域转移学习的一种有前途的方法。然而，它在EEG信号方面的应用仍未被充分探索。本文介绍了Signal-JEPA，用于表示EEG记录的方法，其中包括一种新颖的领域特定的空间块掩蔽策略和三种新颖的下游分类架构。该研究在一个54个受试者的数据集上进行，并评估了模型在三种不同的BCI范式（运动想象、ERP和SSVEP）上的下游性能。我们的研究为JEPAs在EEG信号编码方面的潜力提供了初步证据。值得注意的是，我们的结果突出了空间滤波对于准确的下游分类的重要性，并揭示了预训练示例的长度而不是掩蔽大小对下游性能的影响。

论文旨在探索使用联合嵌入预测架构（JEPAs）进行EEG信号编码的可行性，以实现无缝跨数据集转移的挑战。同时，研究试图验证自监督学习在EEG信号处理中的应用潜力。

论文提出了一种名为Signal-JEPA的EEG信号表示方法，其中包括一种新颖的领域特定的空间块掩蔽策略和三种新颖的下游分类架构。实验结果表明，空间滤波对于精确的下游分类非常重要，而预训练示例的长度对下游性能有影响，但掩蔽大小没有影响。

论文使用54个受试者的数据集进行实验，并在三个不同的BCI范式（MI、ERP和SSVEP）上评估了模型的下游性能。实验结果表明，使用JEPAs进行EEG信号编码具有潜力。此外，研究还提出了一种新颖的空间块掩蔽策略，这是一种领域特定的方法。论文未开源代码。

最近的相关研究包括使用自监督学习进行EEG信号编码的研究，以及使用深度学习进行EEG信号分类的研究。例如，'Self-supervised learning for electroencephalogram signal processing: A review'和'Deep learning for EEG classification: Convolutional neural networks and beyond'。