Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning

本文旨在探究从非侵入式脑电信号中解码图像，以了解人脑在现实场景中处理视觉信息的机制。针对信噪比和非平稳性问题，本文提出了一种MUSE（MUltimodal Similarity-keeping contrastivE learning）框架，用于零样本EEG图像分类。我们开发了一系列针对EEG信号的多元时间序列编码器，并使用广泛的视觉EEG数据集评估了规则化对比度EEG-图像预训练的有效性。我们的方法在200种零样本图像分类中实现了最先进的性能，其中top-1准确率为19.3％，top-5准确率为48.8％。此外，我们通过模型解释可视化神经模式，揭示了人脑视觉处理的动态过程。本文的代码存储库可在https://github.com/ChiShengChen/MUSE_EEG上获得。

论文旨在通过MUSE框架解决非侵入性脑电信号解码图像的问题，实现零样本EEG图像分类，同时通过模型解释可视化神经模式，揭示人脑视觉处理的动态机制。

MUSE框架采用多元时间序列编码器和规则化对比EEG-Image预训练的方式，实现零样本EEG图像分类，并在视觉EEG数据集上取得了最先进的性能。

论文使用了MUSE框架实现了零样本EEG图像分类，并通过模型解释可视化神经模式，揭示了人脑视觉处理的动态机制。实验表明该方法在200-way零样本图像分类任务上取得了最先进的性能。论文提供了代码库。

最近的相关研究包括使用深度学习模型进行EEG图像分类的研究，如《Deep Learning for EEG-based Motor Imagery Classification: A Review》。