A Survey on fMRI-based Brain Decoding for Reconstructing Multimodal Stimuli

在日常生活中，我们会接触到各种各样的外部刺激，例如图像、声音和视频。随着多模态刺激和神经科学的研究不断深入，基于功能性磁共振成像（fMRI）的脑解码已成为理解大脑感知及其复杂认知过程的关键工具。通过解码脑信号以重建刺激，不仅可以揭示复杂的神经机制，还能推动人工智能、疾病治疗以及脑机接口等领域的发展。近年来，神经影像技术和图像生成模型的进步显著提升了基于fMRI的脑解码能力。尽管fMRI能够提供高空间分辨率以实现精确的大脑活动映射，但其较低的时间分辨率和信号噪声仍带来一定挑战。与此同时，生成对抗网络（GANs）、变分自编码器（VAEs）和扩散模型（Diffusion Models）等技术提高了重建图像的质量，而多模态预训练模型也在跨模态解码任务中发挥了重要作用。本文综述了基于fMRI的脑解码领域的最新进展，重点关注从被动脑信号中重建刺激的技术。文章总结了常用的数据集和相关脑区，并根据模型结构对现有方法进行了分类。此外，还评估了模型性能并讨论了其有效性。最后，文章指出了当前面临的关键挑战，并提出了未来的研究方向，为该领域提供了宝贵的见解。如需更多与本综述相关的资料和资源，请访问 https://github.com/LpyNow/BrainDecodingImage。

该论文试图解决如何通过fMRI技术从被动脑信号中解码并重建外部刺激（如图像、声音和视频）的问题。这是一个具有挑战性的领域问题，涉及高维脑信号的解析与多模态数据的映射。

论文的关键思路是结合先进的神经影像技术和生成模型（如GANs、VAEs和扩散模型）来提升fMRI信号解码和刺激重建的质量。此外，还引入了多模态预训练模型以增强跨模态解码任务的表现。这种方法相比传统方法在精度和效率上都有显著提升，并且更关注实际应用潜力。

论文系统性地总结了最新的fMRI脑解码技术进展，包括常用的数据集、关键脑区以及模型结构分类。实验设计涵盖了多种生成模型和多模态模型的对比分析，验证了不同方法的有效性。此外，作者提供了开源资源链接（https://github.com/LpyNow/BrainDecodingImage），便于研究者复现结果或进一步探索。未来值得深入研究的方向包括提高fMRI的时间分辨率、减少噪声影响以及开发更强大的跨模态生成模型。

近期相关研究包括：1) 'Deep Generative Multimodal Brain Decoding' 提出了基于深度生成模型的多模态脑解码框架；2) 'Neural Field Models for fMRI Image Reconstruction' 探索了使用神经场模型进行fMRI图像重建的可能性；3) 'Cross-Modal Pretraining for Brain Signal Decoding' 强调了多模态预训练对脑信号解码的重要性。这些研究共同推动了fMRI脑解码领域的快速发展。