Visual Decoding and Reconstruction via EEG Embeddings with Guided Diffusion

如何通过神经信号解码人类视觉一直以来都吸引着神经科学和机器学习的广泛关注。现代对比学习和生成模型提高了基于fMRI的视觉解码和重构的性能。然而，fMRI的高成本和低时间分辨率限制了它们在脑机接口（BCI）中的应用，促使EEG基于视觉重构的需求增加。在这项研究中，我们提出了一个基于EEG的视觉重构框架。它包括一个名为自适应思维映射器（ATM）的即插即用EEG编码器，该编码器与图像嵌入对齐，以及一个两阶段EEG引导图像生成器，该生成器首先将EEG特征转换为图像先验，然后使用预训练的图像生成器重构视觉刺激。我们的方法允许EEG嵌入在图像分类和检索任务中实现优越性能。我们的两阶段图像生成策略生动地重构了人类所看到的图像。此外，我们分析了不同时间窗口和脑区信号对解码和重构的影响。我们的框架的多功能性在超导磁敏感（MEG）数据模态中得到了证明。我们报告称，基于EEG的视觉解码实现了SOTA的性能，凸显了EEG的可携带性、低成本和高时间分辨率，使得广泛的BCI应用成为可能。ATM的代码可在https://github.com/dongyangli-del/EEG_Image_decode获得。

本论文旨在通过神经信号解码人类视觉，并提出了一种基于EEG的视觉重建框架，以解决fMRI成本高、时间分辨率低的限制，从而提高脑机接口的应用性。

本论文的关键思路是提出了一种基于EEG的视觉重建框架，包括一个与图像嵌入对齐的自适应思维映射器（ATM）和一个两阶段的EEG指导图像生成器，通过将EEG特征转化为图像先验，再使用预训练的图像生成器重建视觉刺激。

论文使用了开源数据集，并公开了ATM的代码，实验结果表明，基于EEG的视觉解码达到了SOTA水平，具有可移植性、低成本和高时间分辨率的优点，并且还分析了不同时间窗口和脑区信号对解码和重建的影响。

最近的相关研究包括：《Deep Learning for EEG-based Brain-Computer Interfaces: A Review》、《EEG-based Brain-Computer Interfaces: A Survey》等。