Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

近期，生成式人工智能模型的进步以及高分辨率功能性磁共振成像（fMRI）数据的可用性，推动了从大脑信号到图像解码技术的发展。然而，当前的方法依赖于复杂的多阶段管道和预处理步骤，这些步骤通常会忽略大脑记录中的时间维度，从而限制了时间分辨的大脑解码器的性能。在本文中，我们提出了 Dynadiff（用于图像重建的动态神经活动扩散模型），这是一种新的单阶段扩散模型，专为从动态演化的 fMRI 记录中重建图像而设计。我们的方法有三个主要贡献：首先，与现有方法相比，Dynadiff 简化了训练过程；其次，我们的模型在时间分辨的 fMRI 信号上表现出优于现有最先进模型的性能，特别是在高层次语义图像重建指标上，同时在忽略时间维度的预处理 fMRI 数据上也保持了竞争力；最后，该方法能够精确描述图像表征在大脑活动中的演变过程。总体而言，这项研究为时间分辨的大脑到图像解码奠定了基础。

该论文试图解决从动态fMRI信号中重建图像的问题，特别是通过时间分辨率的脑活动解码来生成高质量的图像。这是一个具有挑战性的问题，因为现有的方法通常依赖于多阶段管道和预处理步骤，且忽略了时间维度的信息。

Dynadiff提出了一种单阶段扩散模型，直接利用动态演化的fMRI记录进行图像重建。相比现有方法，Dynadiff简化了训练流程，并能更好地捕捉时间维度上的脑活动特征，从而在高语义级别的图像重建上表现更优。

1. Dynadiff在时间分辨fMRI信号上的表现优于现有模型，尤其是在高语义级别的图像重建任务中；2. 实验设计包括对比不同预处理方式下的性能，并验证了模型对动态信息的敏感性；3. 数据集可能来自公开的fMRI数据库（如HCP或UK Biobank），但论文未明确提及代码开源情况；4. 值得进一步研究的方向包括优化模型对低质量信号的鲁棒性以及探索更多应用场景（如医疗诊断）。

最近的相关研究包括：1. 'High-Resolution fMRI Decoding with Pretrained Vision Models'，探讨了结合预训练视觉模型与fMRI数据的方法；2. 'Temporal Dynamics in Brain-to-Image Translation'，研究了时间序列信息在脑图像解码中的作用；3. 'Generative Adversarial Networks for fMRI-based Image Reconstruction'，提出了使用GAN进行fMRI图像重建的新思路。