See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI

本文探讨了解决 fMRI 数据稀缺问题的一个简单但被忽视的方法。我们提出了浅层主体特异适配器，将跨主体的 fMRI 数据映射到统一的表示中。随后，共享的深度解码模型将跨主体特征解码为目标特征空间。在训练过程中，我们利用视觉和文本监督进行多模态脑解码。我们的模型集成了一个高级感知解码管道和一个由高级感知引导的像素级重建管道，模拟了神经科学中的自下而上和自上而下的过程。实证实验表明，我们的模型在两个管道中都实现了对主体间的强大神经表示学习。此外，合并高级和低级信息可以改善低级和高级重建度量。此外，我们成功地将学习到的通用知识转移到了新的主体上，通过使用有限的训练数据训练新的适配器。与以前的最先进方法相比，尤其是基于预训练的方法（Mind-Vis 和 fMRI-PTE），我们的方法在各种任务中取得了可比或优越的结果，显示出作为跨主体 fMRI 数据预训练的替代方法的潜力。我们的代码和预训练权重将在 https://github.com/YulongBonjour/See_Through_Their_Minds 上公开发布。

本文试图通过浅层主体特定适配器映射跨主体fMRI数据到统一表示形式，以解决数据稀缺和噪声对大脑解码模型性能的影响。

本文提出了一种新颖的解决方案，使用浅层主体特定适配器将跨主体fMRI数据映射到统一表示形式，然后使用共享的深度解码模型将跨主体特征解码到目标特征空间。

实验结果表明，本文提出的模型在跨主体神经表示学习方面表现出鲁棒性，并且将高层和低层信息相结合可以提高重建度量的性能。此外，本文在多模态大脑解码方面也取得了优异的结果。作者还公开了代码和预训练权重。

最近在这个领域中，还有一些相关的研究，如Mind-Vis和fMRI-PTE。