EIT-1M: One Million EEG-Image-Text Pairs for Human Visual-textual Recognition and More

最近，脑电图（EEG）信号被积极地应用于解码大脑对视觉或文本刺激的活动，并在多模态人工智能中实现物体识别。因此，人们致力于从单模态的视觉或文本刺激中构建基于EEG的数据集。然而，这些数据集每个类别的EEG时期有限，而参与者所接受的刺激的复杂语义会影响其捕捉精确的脑活动的质量和保真度。神经科学研究揭示了EEG记录中视觉和文本刺激之间的关系，为大脑同时处理和整合多模态信息的能力提供了有价值的见解。受此启发，我们提出了一个新的大规模多模态数据集，名为EIT-1M，其中包含超过100万个EEG-图像-文本对。我们的数据集在反映大脑同时处理多模态信息方面具有优越性。为了实现这一点，我们在参与者查看60K自然图像和特定类别的文本的交替序列时收集了数据对。同时，我们还包括常见的语义类别，以引发参与者大脑更好的反应。同时，我们还包括基于反应的刺激时间和跨块和会话的重复，以确保数据的多样性。为了验证EIT-1M的有效性，我们提供了对不同类别和参与者的多模态刺激下捕获的EEG数据的深入分析，并提供数据质量得分以保证透明度。我们证明了EIT-1M在两个任务上的有效性：1）从视觉或文本刺激或两者都进行EEG识别；2）EEG到视觉生成。

本论文旨在解决单模态刺激下EEG数据集的数量和质量限制，提出了一种新的大规模多模态EEG图像-文本数据集EIT-1M，以反映大脑同时处理多模态信息的能力。

EIT-1M数据集通过收集参与者在观看60K自然图像和特定类别文本的交替序列时的EEG数据对来实现，同时考虑了基于响应的刺激时间和重复性以确保数据多样性。

论文提供了EEG数据的深入分析，包括数据质量评分，证明了EIT-1M数据集的有效性，可用于EEG识别和生成任务。值得关注的是，EIT-1M数据集反映了大脑同时处理多模态信息的能力，具有很高的数据量和质量。

在该领域的相关研究包括使用EEG数据进行图像识别和文本生成的工作，如“EEG-based Image Retrieval using Image-Induced EEG Response”，“Text Generation from EEG Signals”。