The Wisdom of a Crowd of Brains: A Universal Brain Encoder

图像到fMRI编码对于神经科学研究和实际应用都非常重要。然而，这种“脑编码器”通常是针对每个受试者和每个fMRI数据集进行训练的，因此受到非常有限的训练数据的限制。在本文中，我们提出了一种通用脑编码器，可以联合训练来自许多不同受试者/数据集/机器的数据。这种可能性的原因是我们的新的基于体素的编码器架构，它学习每个脑体素的唯一“体素嵌入”。我们的编码器通过直接计算脑体素嵌入和多级深度图像特征之间的交叉注意力，训练以预测每个图像上每个脑体素的响应。这种基于体素的架构允许每个脑体素的功能角色自然地从体素-图像交叉注意力中出现。我们展示了这种方法的强大之处，包括(i)将多个不同受试者的数据（“大脑群众”）组合起来以改善每个单独的脑编码，(ii)在少量训练示例的情况下，快速有效地在受试者、数据集和机器之间进行迁移学习（例如，3特斯拉，7特斯拉），以及(iii)使用学习的体素嵌入作为探索脑功能的有力工具（例如，大脑中的哪些区域编码了什么）。

论文提出了一种通用的脑图像编码器，可以联合训练多个不同主题/数据集/机器的数据，从而解决了以往脑图像编码器仅能基于有限的训练数据的问题。

论文提出了一种基于体素的编码器架构，通过直接计算脑体素嵌入和多层深度图像特征之间的交叉注意力来训练预测每个脑体素对每个图像的响应。这种体素中心的架构使得每个脑体素的功能角色自然地从体素-图像交叉注意力中出现。

论文展示了这种方法的能力：（i）将多个不同主题（“脑群众”）的数据组合在一起，以提高每个个体的脑编码效果；（ii）通过少量的训练样例，实现快速有效的跨主题、数据集和机器的迁移学习（例如，3特斯拉、7特斯拉）；（iii）使用学习到的体素嵌入作为探索脑功能的有力工具（例如，脑中的编码位置）。

在这个领域中，最近的相关研究包括：1.《基于深度学习的脑图像编码器》；2.《跨主题、数据集和机器的迁移学习：一种新的基于体素的方法》；3.《使用深度学习探索脑功能的新方法》等。