Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation

本文探讨了在开发自主任务型人工智能以实现自动化精神健康护理的过程中所涉及到的伦理和实践挑战，并提出了一个结构化框架，以划分自主级别、概述伦理要求和定义有益的默认行为，以便在精神健康支持的背景下为AI代理提供指导。我们还使用16个与各种精神健康状况有关的问题来评估十个最先进的语言模型，例如精神病、狂躁、抑郁、自杀倾向和杀人倾向等。问题设计和响应评估由心理健康临床医生（M.D.s）进行。我们发现，现有的语言模型不足以达到人类专业人员提供的标准，因为他们无法处理细微差别和理解上下文。这是由于一系列问题，包括过于谨慎或阿谀奉承的回答和缺乏必要的保障。令人震惊的是，我们发现大多数测试模型在精神健康紧急情况下可能会造成伤害，无法保护用户，甚至可能加重现有症状。我们探讨了增强当前模型安全性的解决方案。在发布越来越自主任务型的人工智能系统之前，在精神健康方面，必须确保这些模型能够可靠地检测和管理常见的精神障碍症状，以防止对用户造成伤害。这涉及到与我们研究中概述的伦理框架和默认行为保持一致。我们认为，模型开发人员有责任按照这些准则改进其系统，以保障当前人工智能技术对用户的心理健康和安全所带来的风险。提示：本文包含并讨论了敏感的心理健康主题，包括自杀和自残。

解决自动化心理健康护理中的伦理和实践挑战，提出了一个结构化框架，定义了AI代理在心理健康支持中的自主级别、伦理要求和有益的默认行为

通过评估10个最先进的语言模型，发现现有的语言模型无法与人类专业人员提供的标准相匹配，存在一系列问题，包括过于谨慎或阿谀奉承的回答和缺乏必要的安全保障。提出了增强当前模型安全性的解决方案

使用16个心理健康相关问题进行问题设计和响应评估，由心理健康临床医生（M.D.s）进行评估，发现大多数测试模型在心理健康紧急情况下可能会造成伤害，未能保护用户并可能加剧现有症状。需要确保这些模型能够可靠地检测和管理常见精神障碍的症状，以防止对用户造成伤害

最近的相关研究包括“Automated Mental Health Assessment Using Speech and Language Processing Techniques: A Systematic Review”和“Artificial Intelligence for Mental Health and Mental Illnesses: An Overview”等