NeuralDiffuser: Controllable fMRI Reconstruction with Primary Visual Feature Guided Diffusion

本文介绍了一种基于潜在扩散模型（LDM）的功能性磁共振成像（fMRI）重建视觉刺激的方法，可以提供大脑的细粒度检索。然而，在重建过程中存在一个挑战，即如何重建具有结构、背景、纹理、颜色等细节的连贯图像。此外，即使在相同条件下，LDM也会生成不同的图像结果。为此，作者首先揭示了基于LDM的方法的神经科学视角，即基于来自大量图像的预训练知识的自上而下的创建，但缺乏以细节为驱动的自下而上的知觉，导致细节不真实。作者提出了一种名为NeuralDiffuser的方法，它引入了主要视觉特征指导，以提供梯度形式的细节提示，扩展了LDM方法的自下而上过程，以实现忠实的语义和细节。作者还开发了一种新的指导策略，以确保重复重建的一致性，而不是多种结果。作者在自然感官数据集（NSD）上获得了NeuralDiffuser的最新性能，提供了更忠实的细节和一致的结果。

论文试图通过引入神经网络的底层特征指导来解决基于LDM方法重建视觉刺激时存在的细节不准确和结果不一致的问题。

论文提出了一种名为NeuralDiffuser的方法，通过引入底层特征梯度来辅助LDM方法进行重建，从而提高重建结果的准确性和一致性。

NeuralDiffuser在Natural Senses Dataset上取得了最先进的性能表现，实验结果显示其能够提供更准确的细节和一致的结果。论文提出的底层特征指导策略可以在其他相关研究中应用。

最近在这个领域中，还有一些相关的研究，如《Latent Diffusion Models for Image Inpainting》、《Image Inpainting via Generative Multi-column Convolutional Neural Networks》等。