NeuralDiffuser: Controllable fMRI Reconstruction with Primary Visual Feature Guided Diffusion

使用基于潜在扩散模型（LDM）的功能性磁共振成像（fMRI）重建视觉刺激可以提供对大脑的细粒度检索。但是，在重建细节方面（如结构、背景、纹理、颜色等），仍存在一个挑战，即LDM可能会在相同条件下生成不同的图像结果。为此，我们首先揭示了基于LDM的方法的神经科学视角，即基于来自大量图像的预训练知识的自上而下的创建，但缺乏以细节为驱动的自下而上的知觉，导致细节不忠实。我们提出了NeuralDiffuser，它引入了主要的视觉特征引导，以提供梯度形式的细节提示，扩展了LDM方法的自下而上过程，以实现忠实的语义和细节。我们还开发了一种新的指导策略，以确保重复重建的一致性，而不是各种结果。我们在自然感官数据集（NSD）上获得了NeuralDiffuser的最新性能，它提供了更忠实的细节和一致的结果。

论文旨在解决基于LDM的fMRI图像重建中存在的细节不准确和结果不一致的问题。

论文提出了一种名为NeuralDiffuser的新方法，通过引入主观视觉特征指导，扩展了基于LDM的方法的自底向上的过程，以实现准确的语义和细节。

NeuralDiffuser在自然感觉数据集（NSD）上取得了最先进的性能，能够提供更准确的细节和一致的结果。该论文还介绍了一种新的指导策略，以确保重复重建的一致性。

近期的相关研究包括：1. 'Deep Image Prior' 2. 'Multi-Modal Generative Models for Scalable Weakly-Supervised Learning' 3. 'Learning to Learn from Noisy Labeled Data'。