Polaris: A Safety-focused LLM Constellation Architecture for Healthcare

我们开发了Polaris，这是第一个专注于实时患者-AI医疗对话安全的LLM星座。与以往专注于问题回答等任务的医疗LLM不同，我们的工作专门关注长时间的多轮语音对话。我们的万亿参数星座系统由多个数十亿参数的LLM协作代理组成：一个有状态的主代理，专注于推动引人入胜的对话，以及几个专业支持代理，专注于由护士执行的医疗任务，以增加安全性并减少幻觉。我们开发了一个复杂的训练协议，用于迭代协同训练代理，以优化不同的目标。我们使用专有数据、临床护理计划、医疗保健监管文件、医疗手册和其他医疗推理文档来训练我们的模型。我们使我们的模型与医疗专业人员一样说话，使用患者演员和有经验的护士之间的有机医疗对话和模拟对话。这使我们的系统能够表达独特的能力，如建立亲和力、建立信任、同情和床头礼仪。最后，我们呈现了第一个全面的医疗LLM系统的临床评估。我们招募了超过1100名持有美国执照的护士和超过130名持有美国执照的医生，扮演患者进行端到端的对话评估，并对系统进行评分。我们展示了Polaris在医疗安全、临床准备、对话质量和床头礼仪等多个维度上的总体表现与人类护士相当。此外，我们对各个专业支持代理进行了具有挑战性的任务评估，证明我们的LLM代理在表现上显著优于一个更大的通用LLM（GPT-4），以及它自己的中等规模类（LLaMA-2 70B）。

论文旨在开发一个针对长时间多轮语音对话的安全型LLM系统，该系统专注于医疗保健领域，旨在提高患者和AI之间的交流效率和安全性。

该论文的关键思路是开发一个由多个LMM代理组成的一万亿参数的系统，其中一个有状态的主代理专注于推动引人入胜的对话，而其他几个专家支持代理则专注于通过护士执行的医疗保健任务，从而增加安全性和减少幻觉。

该论文的亮点包括：使用专有数据、临床护理计划、医疗保健监管文件、医学手册和其他医学推理文件训练模型；使用医疗专业人员的有机医疗保健对话和模拟对话对模型进行对齐，使其表达独特的能力，如建立关系、建立信任、移情和床边方式；进行了全面的临床评估，证明Polaris在医疗安全性、临床准备性、对话质量和床边方式等方面与人类护士表现相当。

近期在这个领域中的相关研究包括：LLM在医疗保健领域中的应用，如问答系统；其他针对长时间多轮语音对话的系统。