Automatic Interactive Evaluation for Large Language Models with State Aware Patient Simulator

大型语言模型（LLMs）已经在人类交互方面表现出了出色的能力，但它们在医疗领域的应用还没有得到充分的探索。先前的研究主要关注医学知识的表现，但这远远不能满足实际场景的需求，无法评估LLMs在临床任务中的能力。为了增强LLMs在医疗保健中的应用，本文介绍了自动交互评估（AIE）框架和状态感知患者模拟器（SAPS），旨在弥补传统LLM评估和临床实践的微妙差距。与之前依赖静态医学知识评估的方法不同，AIE和SAPS提供了一个动态、逼真的平台，通过医生和患者的多轮模拟来评估LLMs。这种方法更接近真实的临床场景，可以详细分析LLMs在应对复杂患者交互时的行为。我们进行了广泛的实验验证，证明了AIE框架的有效性，其结果与人类评估相符，强调了其革命性的潜力，可以改进医疗LLM测试，提高医疗保健的交付效果。

本论文旨在探索大型语言模型在医疗领域的应用，提出了自动交互评估（AIE）框架和状态感知患者模拟器（SAPS），以弥补传统LLM评估和临床实践之间的差距。

AIE和SAPS提供了一个动态、逼真的平台，通过多轮医患模拟来评估LLMs，更接近真实临床场景，允许对LLM行为进行详细分析。

实验验证了AIE框架的有效性，结果与人类评估相符，有望革新医疗LLM测试以改善医疗服务。

最近的相关研究主要集中在医学知识的性能评估上，而本论文提出的AIE和SAPS框架则提供了更接近真实临床场景的动态评估方式。