MindShot: Brain Decoding Framework Using Only One Image

脑解码旨在通过利用功能性磁共振成像（fMRI）等脑信号重建视觉刺激，并在最近取得了积极进展。然而，它受到很多挑战的阻碍，例如获取fMRI-图像对的困难和个体差异的变异等。大多数方法必须采用每个受试者-每个模型的范例，极大地限制了它们的应用。为了缓解这个问题，我们引入了一个新的、有意义的任务——少样本脑解码，但它将面临两个固有的困难：1）fMRI-图像对的稀缺性和噪声信号很容易导致过度拟合；2）不充分的指导使得训练一个强大的编码器变得复杂。因此，我们提出了一个名为MindShot的新框架，通过利用跨受试者的先验知识实现有效的少样本脑解码。首先，受启发于血氧水平依赖响应函数（HRF），应用HRF适配器来消除小可训练参数的受试者之间不可解释的认知差异。其次，提出一种基于傅里叶变换的跨受试者监督方法，从其他受试者的信号中提取额外的高级和低级生物学指导信息。在MindShot下，新受试者和预训练个体只需要查看同一语义类别的图像，显著扩展了模型的适用性。实验结果表明，MindShot在少样本场景下重建语义忠实的图像的能力，并且优于基于每个受试者-每个模型范例的方法。所提出方法的有希望的结果不仅验证了少样本脑解码的可行性，也为在减少数据依赖的条件下学习大模型提供了可能性。

MindShot: Few-Shot Brain Decoding via Cross-Subject Knowledge Transfer

The proposed MindShot framework achieves effective few-shot brain decoding by leveraging cross-subject prior knowledge, with a HRF adapter and Fourier-based cross-subject supervision method to address the scarcity of fMRI-image pairs and the inadequate guidance for training a robust encoder.

The experiments demonstrate MindShot's ability to reconstruct semantically faithful images in few-shot scenarios and outperforms methods based on the per-subject-per-model paradigm. The proposed method provides the possibility for the learning of large models under the condition of reducing data dependence.

Recent related studies include 'Deep Generative Models for Distribution-Preserving Lossy Compression' and 'Few-Shot Learning with Meta Metric Learning'.