Visual Decoding and Reconstruction via EEG Embeddings with Guided Diffusion

如何通过神经信号解码人类视觉一直以来引起了神经科学和机器学习领域的浓厚兴趣。现代对比学习和生成模型提高了基于fMRI的视觉解码和重建的性能。然而，fMRI的高成本和低时间分辨率限制了它们在脑机接口（BCIs）中的应用，促使需要使用基于EEG的视觉重建。在本研究中，我们提出了一个基于EEG的视觉重建框架。它由一个称为自适应思维映射器（ATM）的即插即用EEG编码器和一个两阶段EEG引导图像生成器组成，该生成器首先将EEG特征转换为图像先验，然后使用预训练的图像生成器重建视觉刺激。我们的方法允许EEG嵌入在图像分类和检索任务中取得卓越的性能。我们的两阶段图像生成策略栩栩如生地重建了人类看到的图像。此外，我们分析了来自不同时间窗口和脑区的信号对解码和重建的影响。我们的框架的多功能性在超导磁敏感（MEG）数据模态中得到了证明。我们报告说，基于EEG的视觉解码实现了SOTA性能，凸显了EEG的可移植性、低成本和高时间分辨率，使得广泛的BCI应用成为可能。 ATM的代码可在https://github.com/dongyangli-del/EEG_Image_decode上找到。

本论文试图解决通过神经信号解码人类视觉的问题，尤其关注于使用EEG信号进行视觉重建的问题。

论文提出了一个基于EEG信号的视觉重建框架，包括一个与图像嵌入对齐的EEG编码器和一个两阶段的EEG引导图像生成器。该框架在图像分类和检索任务中实现了卓越的性能。

论文的实验结果表明，使用EEG信号进行视觉重建具有可行性和优越性能，可以作为脑机接口的重要应用。论文中提出的框架还可以用于MEG数据模态。研究者还分析了不同时间窗口和脑区信号对解码和重建的影响。论文代码已经开源。

近期的相关研究包括使用fMRI信号进行视觉重建的工作，以及其他基于EEG信号的视觉重建方法。