Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM

从脑信号中解码语言信息是脑机接口研究领域中至关重要的一部分，特别是在解密fMRI信号中的语义信息方面。然而，许多现有的研究集中于解码小词汇集，留下了探索开放词汇连续文本解码的空间。本文介绍了一种新方法——Brain Prompt GPT（BP-GPT）。通过使用从fMRI中提取的脑表示作为提示，我们的方法可以利用GPT-2将fMRI信号解码为刺激文本。此外，我们引入了一个文本对齐基线，将fMRI提示与文本提示对齐。通过引入文本对齐基线，我们的BP-GPT可以提取更强大的脑提示，并促进预训练LLM的解码。我们在开源的听觉语义解码数据集上评估了BP-GPT，并与现有最先进方法相比，在所有受试者中实现了METEOR和BERTScore的显着提高，分别达到$4.61\%$和$2.43\%$。实验结果表明，使用脑表示作为提示进一步驱动LLM进行听觉神经解码是可行和有效的。

本文旨在探索使用fMRI信号解码语言信息的方法，并提出了一种新的方法BP-GPT，来解码开放式词汇连续文本。与现有方法不同，BP-GPT可以使用GPT-2来将fMRI信号解码成刺激文本，从而更好地进行语义信息的解码。

BP-GPT方法使用从fMRI提取的大脑表示作为提示，利用GPT-2将fMRI信号解码成刺激文本，进而促进预训练LLM的解码。同时，引入文本到文本基线，可以提取更强大的大脑提示，从而提高解码的效果。

本文在开源的听觉语义解码数据集上进行了实验，与现有方法相比，BP-GPT在所有受试者中METEOR指标提高了4.61％，BERTScore指标提高了2.43％。实验结果表明，使用大脑表示作为提示进一步推动LLM进行听觉神经解码是可行和有效的。

最近在这个领域中，也有一些相关的研究，如《Decoding semantic information from human brain signals: An overview》、《Decoding fMRI patterns of naturalistic narrative comprehension with deep neural networks》等。