DAIC-WOZ: On the Validity of Using the Therapist's prompts in Automatic Depression Detection from Clinical Interviews

2024年04月22日
  • 简介
    自然语言对话数据自动检测抑郁症在近年来引起了极大的关注。DAIC-WOZ数据集是一个由人类控制的虚拟代理人进行的面试,已经被广泛用于这项任务。最近的研究报告称,在模型中加入面试者的提示可以提高性能。在这项工作中,我们假设这种改进主要是由于这些提示中存在的偏见,而不是所提出的架构和方法。通过消融实验和定性分析,我们发现使用面试者提示的模型学习集中在面试的特定区域,即询问有关心理健康问题的过去经历的问题,并将它们用作区分抑郁症参与者的快捷方式。相比之下,使用参与者回答的模型从整个面试中收集证据。最后,为了突显这种偏见的严重性,我们故意利用这种偏见,只使用文本信息,在该数据集上实现了0.90的F1分数,这是迄今为止报告的最高结果。我们的发现强调了在将面试者提示纳入模型时需要谨慎,因为它们可能会无意中学习利用有针对性的提示,而不是学习表征真正反映患者心理健康状况的语言和行为。
  • 图表
  • 解决问题
    本论文旨在探讨在自动检测抑郁症方面,是否仅仅是利用DAIC-WOZ数据集中的面试官提示可以提高模型性能,而不是所采用的架构和方法。同时,论文还试图发现这种改进的主要原因是面试官提示中存在的偏见,而不是其他因素。
  • 关键思路
    通过削减面试官提示的影响,本论文发现模型使用参与者的回答可以收集整个面试过程中的证据,而不仅仅是集中在特定问题上,这可以提高模型的性能。同时,作者还发现模型使用面试官提示时,会利用面试中特定问题的答案作为判别依据,而不是真正反映患者心理健康状况的语言和行为特征。
  • 其它亮点
    论文使用DAIC-WOZ数据集进行实验,发现模型在使用面试官提示时,会利用特定问题的答案作为判别依据,而不是整个面试过程中的证据。作者还在实验中故意利用这种偏见,获得了迄今为止该数据集上仅使用文本信息时的最高F1分数。这些发现表明,在使用面试官提示时需要谨慎,因为模型可能会利用针对性提示而不是真正反映患者心理健康状况的语言和行为特征。
  • 相关研究
    在自动检测抑郁症方面,最近的相关研究包括:1.使用自然语言处理技术来预测患者的心理健康状况;2.使用语音和面部表情等多模态信息来检测抑郁症。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论