Towards a Client-Centered Assessment of LLM Therapists by Client Simulation

尽管越来越多人认为可以使用语言模型作为治疗师，但是从客户的角度来探索语言模型的能力和无效性还是有限的。本文通过模拟客户的方式，采用客户中心评估LLM治疗师的方法，这是临床医学教育中的标准方法。但是，将这种方法应用于大规模评估LLM治疗师时存在两个挑战。伦理上，频繁要求人类模仿客户并将他们暴露于潜在有害的LLM输出中可能存在风险和不安全性。技术上，要一致地比较不同LLM治疗师与同一客户互动的表现可能会很困难。因此，我们采用LLM来模拟客户，提出了一种名为ClientCAST的客户中心评估LLM治疗师的方法。具体而言，利用模拟客户与LLM治疗师进行互动，并完成与互动相关的问卷。根据问卷结果，从三个客户中心的方面评估LLM治疗师：会话结果、治疗联盟和自我报告的感受。我们进行实验来检验ClientCAST的可靠性，并使用它来评估Claude-3、GPT-3.5、LLaMA3-70B和Mixtral 8*7B实现的LLM治疗师。代码已在https://github.com/wangjs9/ClientCAST上发布。

本论文旨在通过使用LLMs模拟客户来进行客户中心的LLMs治疗师评估，从客户的角度探索LLMs的能力和无效性。同时，论文还尝试解决在大规模应用中使用模拟客户进行LLMs治疗师评估时所面临的伦理和技术挑战。

论文提出了一种名为ClientCAST的客户中心方法，使用LLMs模拟客户与LLMs治疗师进行交互，并通过客户问卷的结果从会话结果、治疗联盟和自我报告感受三个方面对LLMs治疗师进行评估。

论文通过实验验证了ClientCAST的可靠性，并使用Claude-3、GPT-3.5、LLaMA3-70B和Mixtral 8*7B等LLMs治疗师进行评估。论文还开源了代码，值得进一步研究。

近期的相关研究包括使用LLMs进行心理治疗的工作，如《使用神经语言编程（NLP）进行心理治疗：一项系统综述》（Using neuro-linguistic programming (NLP) in psychotherapy: a systematic review）和《使用人工智能进行心理治疗：一项系统综述》（Artificial Intelligence in Psychotherapy: A Systematic Review）。