MindBridge: A Cross-Subject Brain Decoding Framework

脑解码是神经科学中的一个关键领域，旨在利用功能磁共振成像（fMRI）等技术从获得的脑信号中重构刺激。目前，脑解码局限于以模型为基础的个体范式，仅适用于训练解码模型的同一人。这一限制源于三个关键挑战：1）由于不同的大脑大小，输入维度在不同个体之间存在固有的变异性；2）独特的内在神经模式影响不同个体感知和处理感觉信息的方式；3）在现实世界的情况下，新个体的数据可用性有限，影响了解码模型的性能。本文提出了一种名为MindBridge的新方法，通过仅使用一个模型实现跨个体脑解码。我们的提议框架引入了生物启发式聚合函数和新颖的循环fMRI重建机制，用于实现主体不变表示学习，从而解决了这些挑战。值得注意的是，通过fMRI的循环重建，MindBridge可以实现新颖的fMRI合成，也可以作为伪数据增强。在该框架内，我们还设计了一种新颖的重置调整方法，用于将预训练模型适应于新的个体。实验结果表明，MindBridge能够重构多个个体的图像，与专门针对个体的模型相当。此外，在有限的新个体数据下，我们实现了较高的解码精度，超过了专门针对个体的模型。这一跨个体脑解码的进展为神经科学中的更广泛应用提供了有希望的方向，并表明在现实世界的情况下更有效地利用有限的fMRI数据的潜力。项目页面：https://littlepure2333.github.io/MindBridge。

MindBridge试图解决跨主体的脑解码问题，即如何使用一个模型进行多个主体的脑信号重建，而不需要为每个主体训练一个专门的模型。

MindBridge提出了一种生物启发式的聚合函数和新颖的循环fMRI重建机制，用于主体不变表示学习。通过循环重建fMRI，MindBridge可以实现新型fMRI合成，这也可以作为伪数据增强。此外，MindBridge还设计了一种新的重置调谐方法，用于将预训练模型适应于新的主体。

MindBridge的实验结果表明，它能够重建多个主体的图像，与专门的主体特定模型相当竞争。此外，在有限的数据情况下，MindBridge实现了高水平的解码准确性，超过了主体特定模型的解码准确性。MindBridge的这一进展表明了在神经科学中更广泛应用的有前途的方向，并表明在现实世界的情况下更有效地利用有限的fMRI数据的潜力。

与MindBridge相关的研究包括利用深度学习进行脑解码的其他工作，如使用卷积神经网络（CNN）进行脑解码。此外，还有一些研究使用多个模型进行跨主体脑解码，例如使用深度神经网络和多任务学习。