Neuro-Vision to Language: Enhancing Visual Reconstruction and Language Interaction through Brain Recordings

我们理解人类认知的进展关键在于解码非侵入式脑记录，但由于个体差异和复杂的神经信号表示，这一过程面临挑战。传统方法通常需要定制模型和大量试验，缺乏在视觉重建任务中的可解释性。我们的框架将3D脑结构与视觉语义融合，使用Vision Transformer 3D。这个统一的特征提取器能够高效地将fMRI特征与多个层次的视觉嵌入对齐，消除了需要个体特定模型的需求，并允许从单次试验数据中提取。提取器将多层次的视觉特征合并到一个网络中，简化了与大型语言模型的集成。此外，我们还增强了fMRI数据集，提供了多样化的fMRI图像相关文本数据，以支持多模态大型模型的开发。与LLMs集成可增强解码能力，使任务如脑图说、复杂推理、概念定位和视觉重建成为可能。我们的方法在这些任务中展现出卓越的性能，精确地识别出脑信号中基于语言的概念，增强了可解释性，并提供了对神经过程的更深入洞察。这些进展显著拓宽了非侵入式脑解码在神经科学和人机交互中的适用性，为先进的脑机接口和认知模型奠定了基础。

本论文旨在解决非侵入式脑记录数据的解码问题，以促进对人类认知的理解。传统方法需要定制模型和大量试验，缺乏可视化重建任务的可解释性。

本文提出了一种将3D脑结构与视觉语义相结合的框架，使用Vision Transformer 3D实现了统一的特征提取器，将fMRI特征与多个层次的视觉嵌入对齐，消除了个体差异和需要个体模型的问题，并允许从单次试验数据中提取。此外，本文还使用多样的fMRI图像相关文本数据增强了fMRI数据集，支持多模态大型模型的开发，增强了解码能力，实现了脑部字幕、复杂推理、概念定位和视觉重建等任务。

本文的方法在多个任务中表现出优异的性能，可以精确识别脑信号中的语言概念，增强了可解释性，并深入了解神经过程。本文的方法还可以应用于神经科学和人机交互中，为先进的脑机接口和认知模型奠定基础。

在这个领域中，最近的相关研究包括：1）“Deep Learning for Neuroimaging: A Validation Study”，2）“Multimodal Integration of fMRI and EEG Data for Epileptic Seizure Prediction”，3）“Deep Learning for Brain MRI Segmentation: State of the Art and Future Directions”。