Mental-Perceiver: Audio-Textual Multimodal Learning for Mental Health Assessment

心理障碍，如焦虑和抑郁，已成为影响不同年龄段人们日常生活的全球性问题。如果没有适当的检测和治疗，焦虑和抑郁会妨碍患者的学习、工作和日常生活。幸运的是，数字和人工智能技术的最新进展为更好的心理健康护理提供了新机会，并且已经在开发自动焦虑和抑郁评估技术方面做出了许多努力。然而，这个领域仍然缺乏一个可供公众使用的大规模数据集，以促进基于人工智能技术的技术的开发和评估。为了解决这个限制，我们构建了一个新的大规模多模态心理评估语料库（MMPsy），用于评估讲普通话的青少年的焦虑和抑郁。 MMPsy包含焦虑或抑郁评估面试的音频和提取的响应转录，以及参与者使用标准心理健康评估问卷进行的自我报告的焦虑或抑郁评估。我们的数据集包含超过7,700个焦虑评估的后处理面试记录和超过4,200个抑郁评估的记录。使用这个数据集，我们开发了一种新的基于深度学习的心理障碍估计模型，称为“心理感知器”，从录制的音频和转录数据中检测焦虑/抑郁心理状态。我们在我们的MMPsy和常用的DAIC-WOZ数据集上进行了广泛的实验，证明了我们提出的心理感知器模型在焦虑和抑郁检测方面的有效性和优越性。MMPsy数据集稍后将公开发布，以促进基于人工智能技术的心理健康护理领域的研究和开发。

构建一个可用于评估青少年焦虑和抑郁的大规模数据集，以促进基于AI的技术在心理健康护理领域的发展和评估。

使用MMPsy数据集，开发了一种名为Mental-Perceiver的深度学习模型，可以从录音和转录数据中检测焦虑/抑郁情绪状态。该模型在DAIC-WOZ数据集和MMPsy数据集上的实验中表现出了优越性能。

MMPsy数据集包含超过7,700个焦虑评估和超过4,200个抑郁评估的自动化访谈录音和提取的转录文本，以及参与者使用标准心理健康评估问卷的自我报告焦虑或抑郁评估。该数据集将公开提供。实验结果表明，Mental-Perceiver模型在焦虑和抑郁检测方面表现出了优越性能。

最近的相关研究包括：1.使用声音信号和转录数据进行情感状态检测的研究；2.使用深度学习方法进行心理健康评估的研究。