EEG classification for visual brain decoding with spatio-temporal and transformer based paradigms

本文探讨了在视觉脑解码领域中，通过两种不同的学习范式来进行 EEG 分类任务。考虑到 EEG 数据的时空特性，我们的其中一个框架基于 CNN-BiLSTM 模型。另一个框架则涉及 CNN-Transformer 结构，本质上包含更多样化的基于注意力的学习范式。在两种情况下，我们都使用特殊的 1D-CNN 特征提取模块，使用时间和 EEG 通道域中的 1D 卷积来生成初始嵌入。考虑到 EEG 信号是嘈杂的、非平稳的，并且判别特征甚至不如语义结构化数据（如文本或图像）清晰，我们还采用基于窗口的分类，随后在推理过程中进行多数投票，以在信号级别上生成标签。为了说明不同图像类别与脑模式的相关性，我们将 BiLSTM 嵌入的 t-SNE 图与前十个类别的脑激活图进行可视化。这些可视化提供了有关与每个视觉类别相关的不同神经签名的深刻启示，展示了 BiLSTM 捕捉和表示与视觉刺激相关的判别性脑活动的能力。我们在更新的 EEG-Imagenet 数据集上展示了我们方法的性能，并与现有最先进的方法进行了积极比较。

该论文旨在通过两种不同的学习范式，探索基于EEG的视觉脑解码任务，解决EEG信号嘈杂、非平稳以及具有不清晰的区分特征的问题。

论文提出了两种框架：CNN-BiLSTM模型和CNN-Transformer模型，均使用1D-CNN特征提取模块生成初始嵌入，并采用基于窗口的分类方法。此外，论文还使用t-SNE可视化BiLSTM嵌入，展示了与不同图像类别相关的神经特征。

该论文在EEG-Imagenet数据集上进行了实验，表现优于现有的最新方法。值得关注的是，论文提出的两种框架都采用了1D-CNN特征提取模块，并使用了窗口分类方法。此外，t-SNE可视化结果提供了对脑部活动的深入理解。

最近在该领域的相关研究包括：1. "EEG-based Visual Object Recognition using Deep Learning with Convolutional Neural Networks"；2. "Deep learning with convolutional neural networks for EEG decoding and visualization"；3. "EEG classification of motor imagery using a hybrid CNN-RNN architecture"。