MindFormer: A Transformer Architecture for Multi-Subject Brain Decoding via fMRI

多年来，研究神经信号的工作一直在进行中，其中从fMRI信号中进行视觉解码引起了相当大的关注。特别是，图像扩散模型的出现显著推进了从fMRI数据中重建图像的技术。然而，现有方法往往会引入重建图像中的被试间和被试内变异，这可能会影响准确性。为了解决多受试者脑解码的当前限制，我们介绍了一种名为MindFormer的新的Transformer架构。该模型专门设计用于生成fMRI条件特征向量，以用于条件稳定扩散模型。具体来说，MindFormer包含两个关键创新：1）一种基于IP-Adapter的新型训练策略，用于从fMRI信号中提取语义上有意义的特征；2）一种个体特异性标记和线性层，有效捕捉fMRI信号中的个体差异，同时协同地结合多个受试者的fMRI数据进行训练。我们的实验结果表明，当MindFormer与Stable Diffusion集成时，可以在不同受试者之间产生语义一致的图像。这种能力显著超越了现有模型在多受试者脑解码方面的表现。这样的进步不仅提高了我们重建的准确性，还加深了我们对个体之间神经处理变异的理解。

解决多主体脑解码中存在的精度问题，提高脑成像重建的准确性和理解个体差异的能力。

提出了一种名为MindFormer的Transformer模型，该模型结合了IP-Adapter和主体特定令牌和线性层的训练策略，用于从fMRI信号中提取语义有意义的特征向量，并与Stable Diffusion模型相结合，实现了跨不同主体的语义一致性图像重建。

实验结果表明，MindFormer与Stable Diffusion相结合，能够显著提高多主体脑解码的准确性和理解个体差异的能力。该论文的亮点在于提出了一种新的Transformer架构，并结合了多种训练策略，同时使用了开源数据集和代码。

最近的相关研究包括使用fMRI信号进行图像重建的其他方法，如Deep Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders和Deep Generative Model-Based Brain Image Synthesis。