Exploring a Multimodal Fusion-based Deep Learning Network for Detecting Facial Palsy

算法检测面瘫有潜力改善目前通常需要临床医生进行费力和主观评估的现状。本文提出了一种基于多模态融合的深度学习模型，利用非结构化数据（即带有面部线条分割的图像帧）和结构化数据（即面部表情特征）来检测面瘫。我们还做出了一项研究，分析了不同数据模态的影响以及使用多模态融合方法的好处，使用了21名面瘫患者的视频。我们的实验结果表明，在各种数据模态（即非结构化数据- RGB图像和面部线条图像以及结构化数据-面部标志物坐标和面部表情特征）中，使用面部表情特征的前馈神经网络达到了最高的76.22的精确度，而使用面部线条图像的ResNet模型达到了最高的83.47的召回率。当我们利用面部线条图像和面部表情特征时，我们的多模态融合深度学习模型略微提高了精确度得分，达到了77.05，但牺牲了召回得分。

本论文旨在利用深度学习模型检测面瘫，以改善目前医生主观且费时的评估方法。同时，还对不同数据模态及多模态融合方法的效果进行了研究。

论文采用多模态融合的深度学习模型，结合人脸线段图像和面部表情特征，进行面瘫检测。实验结果表明，在不同数据模态中，采用面部表情特征的前馈神经网络精度最高，达到了76.22；采用人脸线段图像的ResNet模型召回率最高，达到了83.47。同时，多模态融合的深度学习模型在精度上略微提高，达到了77.05。

该论文提出了一种新颖的多模态融合的深度学习模型，可以有效地检测面瘫。实验使用了21个面瘫患者的视频数据集，并对不同数据模态及多模态融合方法进行了比较研究。值得关注的是，采用面部表情特征的前馈神经网络和采用人脸线段图像的ResNet模型都取得了不错的效果。但多模态融合的模型在精度上略有提高，可以作为一种可行的面瘫检测方法。

在相关研究中，也有一些学者利用深度学习模型进行面瘫检测，如“Facial Paralysis Detection using Convolutional Neural Networks”和“Facial Paralysis Detection using Deep Convolutional Neural Networks and Support Vector Machines”。