SCDM: Unified Representation Learning for EEG-to-fNIRS Cross-Modal Generation in MI-BCIs

混合运动想象脑-计算机接口（MI-BCI）结合了脑电图（EEG）和功能性近红外光谱（fNIRS）信号，表现优于仅基于EEG的接口。然而，同时记录EEG和fNIRS信号由于在同一头皮表面上放置两种类型的传感器的困难而极具挑战性。这种物理限制使得获取高质量的混合信号变得复杂，从而限制了混合MI-BCI的广泛应用。为了促进混合EEG-fNIRS信号的获取，本研究提出了空时控制扩散模型（SCDM）作为从EEG到fNIRS的跨模态生成框架。该模型利用两个核心模块，空间跨模态生成（SCG）模块和多尺度时间表示（MTR）模块，在统一表示空间中自适应地学习两种信号的各自潜在时间和空间表示。SCG模块通过利用它们的空间关系将EEG表示映射到fNIRS表示。实验结果显示，合成fNIRS信号与真实fNIRS信号之间具有高度相似性。 EEG和合成fNIRS信号的联合分类性能与EEG和真实fNIRS信号相当甚至更好。此外，合成信号展现了类似于真实信号的空时特征，同时保持与EEG信号的空间关系。实验结果表明，SCDM可能代表了在MI-BCI系统中获取混合EEG-fNIRS信号的有前途的范例。

论文旨在解决同时记录脑电图（EEG）和功能性近红外光谱（fNIRS）信号的难题，提出了一种基于空间-时间控制扩散模型（SCDM）的跨模态信号生成框架，以便更容易地获取高质量的混合信号，以应用于脑机接口（BCI）系统。

SCDM框架由两个核心模块组成，即空间跨模态生成（SCG）模块和多尺度时间表示（MTR）模块，它们在一个统一的表示空间中自适应地学习两种信号的相应潜在时间和空间表示，并利用它们的空间关系将EEG表示映射到fNIRS表示。

实验结果表明，合成fNIRS信号与真实fNIRS信号之间的相似性很高。EEG和合成fNIRS信号的联合分类性能与EEG和真实fNIRS信号相当甚至更好。此外，合成信号展现了类似于真实信号的空间-时间特征，同时保留了与EEG信号的空间关系。

最近的相关研究包括使用深度学习方法进行EEG-fNIRS信号融合，以及使用其他跨模态信号生成方法。