A Multimodal Intermediate Fusion Network with Manifold Learning for Stress Detection

多模态深度学习方法可以从多个模态中捕捉协同特征，相对于单模态方法，具有提高压力检测准确性的潜力。然而，这种准确性提高通常来自于高维特征空间，尤其是在中间融合时，会导致高计算成本。降维是通过简化数据并使特征更易于处理和分析的一种优化多模态学习的方法，从而降低计算复杂度。本文介绍了一种中间多模态融合网络，采用基于流形学习的降维方法。多模态网络通过1D-CNN和2D-CNN从生物特征信号和面部标志中生成独立的表示。最后，这些特征被融合并馈送到另一个1D-CNN层，然后是一个全连接的密集层。我们比较了不同变体的单模态和多模态网络的各种降维技术。我们观察到，采用多维缩放（MDS）流形方法的中间层融合在Leave-One-Subject-Out交叉验证（LOSO-CV）范式下表现出96.00％的准确率，比其他降维方法表现更好。MDS在流形学习方法中的计算成本最高。然而，尽管表现优于其他网络，但与预处理步骤中使用的六种知名传统特征选择方法相比，它成功将所提出的网络的计算成本降低了25％。

本论文旨在通过引入中间的多模式融合网络和基于流形学习的降维方法来优化多模式深度学习，以提高压力检测的准确性，并减少计算复杂度。

论文提出了一种中间多模式融合网络，并使用基于流形学习的降维方法来简化数据和处理特征，从而减少计算复杂度。在多种维度降低技术和单模式多模式网络的不同变体中进行了比较，发现中间级别融合和多维缩放（MDS）流形方法在Leave-One-Subject-Out交叉验证（LOSO-CV）范式中的准确率为96.00％，优于其他降维方法。

实验使用了生物特征信号和面部标志的多模式网络，并比较了多种维度降低技术和单模式多模式网络的不同变体。 MDS流形方法在减少计算复杂度的同时，提高了压力检测的准确性。

最近的相关研究主要集中在多模式深度学习和压力检测方面，如“Multimodal Emotion Recognition Using Deep Learning Approaches”和“Deep Learning for Stress Detection from Speech and Peripheral Physiological Signals”。