Du-IN: Discrete units-guided mask modeling for decoding speech from Intracranial Neural signals

侵入性脑机接口因其高性能而受到了广泛关注。目前，基于颅内立体电脑图(sEEG)的基础模型通常基于单通道构建单变量表示。其中一些模型进一步使用Transformer模型来建模通道之间的关系。然而，由于大脑计算的局部性和特异性，它们在更困难的任务上的表现，例如需要在特定的大脑区域进行复杂处理的语音解码，尚未得到充分研究。我们假设在某些脑区内构建多元表示可以更好地捕捉特定的神经处理过程。为了探索这个假设，我们收集了一个经过良好注释的中文阅读sEEG数据集，针对与语言相关的脑网络，包括12个受试者。利用这个基准数据集，我们开发了Du-IN模型，通过离散码书引导的掩码建模，可以从特定的脑区提取上下文嵌入。我们的模型在下游的61个单词分类任务上实现了SOTA性能，超过了所有基线模型。模型比较和削弱分析表明，我们的设计选择，包括(i)在vSMC和STG区域融合通道的多元表示和(ii)通过离散码书引导的掩码建模进行自我监督，显著有助于这些性能的提升。总的来说，我们的方法受到神经科学发现的启发，利用特定脑区的多元神经表示，适用于侵入性脑模型。它标志着一种有前途的神经启发式AI方法在BCI中的应用。

本文旨在探讨如何通过建立特定脑区的多变量表示来更好地捕捉特定神经处理，以解决当前单变量模型在语音解码等任务中的表现不佳问题。

本文提出了一种通过离散码本引导掩码建模从特定脑区提取上下文嵌入的Du-IN模型，该模型在语音解码任务中实现了SOTA表现，超过了所有基线模型。

本文使用了一个经过注释的中文单词阅读sEEG数据集，开发了一种新的模型Du-IN，该模型使用多变量表示和自我监督方法提高了性能。实验结果表明，该模型在语音解码任务中表现出色。

最近的相关研究包括使用Transformer模型建立单变量表示的sEEG模型，以及使用深度学习方法进行BCI研究。