Mind-to-Image: Projecting Visual Mental Imagination of the Brain from fMRI

过去十年，由于广泛的fMRI数据集和图像生成生成模型的进步，从受试者观察到的fMRI数据重建图像已经取得了重大进展。然而，视觉重建的应用仍然受到限制。重建视觉想象面临更大的挑战，具有潜在的革命性应用，从帮助残障人士到验证法庭证词。这个领域的主要障碍是缺乏视觉想象的数据收集协议和主题的数据集。传统上，fMRI到图像依赖于从暴露于视觉刺激的受试者收集的数据，这对于基于视觉刺激和视觉想象之间的脑活动差异生成视觉想象的问题带来了困难。我们首次编制了一个大量的视觉想象数据集（约6小时的扫描）以及一个提出的数据收集协议。然后，我们训练了一个修改过的fMRI到图像模型，并展示了从记忆和纯想象两种想象模式重建图像的可行性。这标志着朝着创建一种允许直接重建视觉想象的技术迈出了重要的一步。

本论文旨在解决从fMRI数据中重建视觉想象图像的问题，通过提供视觉想象数据集和数据采集协议来克服当前领域的数据缺失问题。

通过修改fMRI-to-image模型，使用视觉想象数据集成功地从记忆和想象中重建图像。

论文提供了一个新的数据集和数据采集协议，成功地展示了从视觉想象中重建图像的可行性。实验结果表明，该方法可以在一定程度上重建视觉想象图像。

最近的相关研究集中在使用fMRI数据重建视觉刺激图像上，如'Generative adversarial networks reconstruct details in single-cell-resolution electrophysiological images'和'Generative modeling of brain images with application to Alzheimer's disease'等。