Language Reconstruction with Brain Predictive Coding from fMRI Data

最近的许多研究表明，语音知觉可以从大脑信号中解码，随后重建为连续的语言。然而，缺乏神经学基础来更有效地利用嵌入大脑信号中的语义信息来指导语言重建。预测编码理论表明，人类大脑自然地参与连续预测跨越多个时间尺度的未来单词表示。这意味着，大脑信号的解码可能与可预测的未来相关。为了探索预测编码理论在语言重建中的应用，本文提出了一种新模型\textsc{PredFT}，用于联合建模神经解码和大脑预测。它由一个主解码网络和一个预测编码的辅助网络组成。辅助网络通过多头自注意力模块从相关的感兴趣的大脑区域获取大脑预测编码表示。这个表示通过交叉注意力融合到主解码网络中，以促进语言模型的生成过程。实验在最大的自然语言理解fMRI数据集Narratives上进行。 \textsc{PredFT}实现了当前最先进的解码性能，最大BLEU-1得分为27.8％。

该论文试图探索如何更有效地使用大脑信号中的语义信息来指导语言重建，以及如何将预测编码理论应用于语言重建中。

该论文提出了一种名为PredFT的模型，用于联合建模神经解码和大脑预测编码。该模型包括一个主解码网络和一个用于预测编码的侧网络。侧网络使用多头自注意力模块从相关的感兴趣的大脑区域获得大脑预测编码表示，并通过交叉注意力与主解码网络融合，以促进语言模型的生成过程。

论文在最大的自然语言理解fMRI数据集Narratives上进行了实验，取得了最新的解码性能，最大BLEU-1分数达到了27.8％。此外，该论文还提出了一种新的预测编码理论，该理论认为人类大脑自然地参与连续预测未来的单词表示形式，跨越多个时间尺度。

最近在这个领域中，还有一些相关的研究，例如“Decoding speech from neural signals: A compact review”和“Real-time decoding of question-and-answer speech dialogue using human cortical activity”。