Reconstructing Visual Stimulus Images from EEG Signals Based on Deep Visual Representation Model

重建视觉刺激图像是神经解码中的重要任务，到目前为止，大多数研究都将功能性磁共振成像（fMRI）作为信号来源。然而，基于fMRI的图像重建方法由于采集设备的复杂性和高成本而难以广泛应用。考虑到脑电图（EEG）采集设备成本低廉且易于携带的优点，本文提出了一种基于EEG信号的新型图像重建方法。首先，为了满足快速切换的视觉刺激图像的高识别性，我们建立了一个视觉刺激图像数据集，并通过相应的EEG信号收集实验获取了EEG数据集。其次，我们提出了深度视觉表示模型（DVRM），包括一个主要编码器和一个次要解码器，用于重建视觉刺激。编码器基于残差-残差密集块设计，以学习EEG信号和视觉刺激图像之间的分布特征，而解码器基于深度神经网络设计，以从学习到的深度视觉表示中重建视觉刺激图像。DVRM可以适应人类自然状态的深度和多视图视觉特征，使重建的图像更加精确。最后，我们在我们的EEG数据集上评估了DVRM生成图像的质量。结果表明，DVRM在从EEG信号中学习深度视觉表示并生成逼真且高度类似于原始图像的重建图像的任务中具有良好的性能。

使用EEG信号重构视觉刺激图像是一个重要的神经解码任务，但目前大多数研究都使用成本昂贵的fMRI信号作为信号源。本文提出了一种基于EEG信号的图像重构方法，以解决这一问题。

本文提出了一种深度视觉表示模型（DVRM），由主编码器和次要解码器组成，以学习EEG信号和视觉刺激图像之间的分布特征，并从学习的深度视觉表示中重构视觉刺激图像。

本文构建了一个视觉刺激图像数据集，并通过相应的EEG信号采集实验获取EEG数据集。DVRM采用残差-残差稠密块设计编码器，并采用深度神经网络设计解码器。实验结果表明，DVRM在学习EEG信号的深度视觉表示和生成高度类似于原始图像的重构图像方面具有良好的性能。

最近的相关研究主要集中在使用fMRI信号进行图像重构，如“Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks”和“High-resolution reconstruction of face images from human brain activity”。