Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition

本文介绍了一种基于Siamese架构和多尺度对比的多模态生理信号表示学习框架，用于抑郁症识别（MRLMC）。该框架利用时间域数据增强策略将fNIRS和EEG转换为不同但相关的数据。然后，设计了一个时空对比模块，通过共享权重的多尺度时空卷积学习fNIRS和EEG的表示。此外，为了增强与刺激任务相关的语义表示的学习，提出了一个语义一致性对比模块，旨在最大化fNIRS和EEG的语义相似性。在公开可用和自行收集的多模态生理信号数据集上进行的广泛实验表明，MRLMC优于现有的最先进模型。此外，我们提出的框架能够转移到多模态时间序列下游任务。

本文旨在解决使用多模态生理信号进行抑郁症识别时忽略了同一刺激任务下多模态信号的互补性和语义一致性的问题。论文提出了一种基于Siamese结构和多尺度对比的多模态生理信号表示学习框架来解决这个问题。

论文的关键思路是设计了一个多尺度对比模块，通过共享权重的多尺度时空卷积来学习fNIRS和EEG的表示。此外，还提出了一种语义一致性对比模块，旨在最大化fNIRS和EEG的语义相似性。

论文在公开数据集和自己收集的多模态生理信号数据集上进行了广泛的实验，结果表明MRLMC的性能优于现有的模型。此外，该框架可用于多模态时间序列下游任务的转移。值得注意的是，论文提出的多尺度对比模块和语义一致性对比模块都是新颖的，可以为后续研究提供启示。

近期的相关研究包括：1. “Multimodal Depression Detection: A Review of Recent Advances”；2. “Multimodal Neuroimaging Computing: A Review on Multimodal Fusion Methods”；3. “Multimodal Machine Learning: A Survey and Taxonomy”。