CogniVoice: Multimodal and Multilingual Fusion Networks for Mild Cognitive Impairment Assessment from Spontaneous Speech

本文介绍了CogniVoice，这是一个新颖的多语言和多模态框架，通过分析语音数据及其文本转录来检测MCI并估计Mini-Mental State Examination（MMSE）得分。CogniVoice的关键组件是基于“专家乘积”的集成多模态和多语言网络，可以缓解对快捷解决方案的依赖。利用TAUKADIAL挑战赛中包含英语和中文语言的全面数据集，CogniVoice在MCI分类和MMSE回归任务中比最佳基线模型分别提高了2.8和4.1个F1和RMSE分数，并且可以有效地减少不同语言组之间的性能差距0.7个F1分数。

本文介绍了一种新的多语言和多模态框架CogniVoice，通过分析语音数据及其文本转录来检测轻度认知障碍(MCI)并估算最小状态检查(MMSE)分数。

CogniVoice是一种基于“专家乘积”方法的多模态和多语言网络，可以减少对快捷解决方案的依赖。

CogniVoice在包含英语和中文语言的数据集上进行实验，优于TAUKADIAL挑战赛上最佳基线模型，在MCI分类和MMSE回归任务上分别提高了2.8和4.1个点，同时可以有效地减少不同语言组之间的性能差距。

最近的相关研究包括使用深度学习方法进行MCI诊断和MMSE评估的研究，如《A Deep Learning Approach to Diagnose Mild Cognitive Impairment and Estimate Mini-Mental State Examination Score》。