MAD: Multi-Alignment MEG-to-Text Decoding

本文介绍了脑机接口（BCI）研究中解读脑活动中的语言的重要任务。非侵入性的脑信号技术包括脑电图（EEG）和脑磁图（MEG）由于安全和实用性而越来越受欢迎，避免了侵入性电极植入。然而，目前的研究在以下三个方面存在不足：1）主要关注EEG，对MEG的探索有限，而MEG提供更优质的信号质量；2）在未知的文本上表现不佳，表明需要能够更好地推广到不同语言环境的模型；3）对来自其他模态的信息的集成不足，这可能会限制我们全面理解脑活动的复杂动态的能力。 本研究提出了一种新的方法，使用具有多重对齐的语音解码框架将MEG信号转换为文本。我们的方法是第一个使用端到端多重对齐框架直接从MEG信号生成全新文本的方法。我们在GWilliams数据集上实现了令人印象深刻的BLEU-1分数，显著优于基线，从5.49提高到10.44。这一改进展示了我们的模型在实际应用中的进步，并强调了它在推动BCI研究方面的潜力。代码可在$\href{https://github.com/NeuSpeech/MAD-MEG2text}{https://github.com/NeuSpeech/MAD-MEG2text}$上获得。

论文旨在解决通过脑电信号解码语言的问题，尤其是使用MEG信号进行研究的不足，以及模型泛化能力和信息融合的问题。

论文提出了一种使用多重对齐框架将MEG信号转化为文本的方法，并在未见过的文本上取得了优异的表现。

该方法是第一个使用MEG信号进行完全未见过文本生成的端到端多对齐框架，取得了较好的BLEU-1分数。研究使用了GWilliams数据集，并在该数据集上显著优于基线。研究代码已开源。

最近的相关研究包括使用EEG信号进行语音解码，以及使用多模态信息进行脑活动解码。