Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity

通过从人脑活动中重建所观察到的图像，可以通过脑机接口（Brain-Computer Interface）将人类视觉和计算机视觉联系起来。由于不同个体之间的脑功能固有变异性，现有文献侧重于使用各自的脑信号数据获取每个个体的单独模型，忽略了这些数据之间的共性。在本文中，我们设计了一种名为“Psychometry”的全适配模型，用于从不同受试者的功能性磁共振成像（fMRI）中重建图像。Psychometry包含一个全能混合专家模块（Omni MoE），其中所有专家共同工作以捕捉受试者之间的共性，而与受试者特定参数相关联的每个专家则处理个体差异。此外，Psychometry还配备了一种名为Ecphory的检索增强推理策略，旨在通过从预存的受试者特定记忆中检索来增强学习到的fMRI表示。这些设计共同使Psychometry全适配和高效，使其能够在受试者之间捕捉交叉个体的共性和个体特异性。因此，增强的fMRI表示可作为条件信号指导生成模型重建高质量、逼真的图像，从而将Psychometry确立为在高级和低级指标方面的最先进技术。

本论文旨在解决从不同被试的功能性磁共振成像（fMRI）数据中重建图像的问题，并提出了一种新的模型Psychometry。

Psychometry是一种omnifit模型，它采用全面的专家混合（Omni MoE）模块来捕捉被试之间的共性，并处理个体差异。

论文使用了Ecphory的检索增强推理策略来提高fMRI表示的质量，并建立了Psychometry作为当前领域中最先进的模型。

最近的相关研究包括“Deep Generative Models for Functional Brain Imaging”和“Multi-subject fMRI analysis via two-stage dictionary learning”。