Clinical Camel: 基于对话知识编码的开源专家级医学语言模型

Clinical Camel: An Open-Source Expert-Level Medical Language Model with Dialogue-Based Knowledge Encoding

Augustin Toma, Patrick R. Lawler, Jimmy Ba, Rahul G. Krishnan, Barry B. Rubin, Bo Wang
[University Health Network & University of Toronto]

Clinical Camel: 基于对话知识编码的开源专家级医学语言模型

要点:

• 动机：在医疗领域中，大型语言模型(LLM)由于数据隐私、监管合规性和模型稳定性等问题，受到限制。本文旨在通过改进模型的隐式知识库和对话记忆能力，以及软对齐约束，克服这些挑战。
• 方法：提出基于对话的知识编码(DBKE)方法，通过将知识稠密的文本转化为多步对话形式，提升模型的回忆能力和对软对齐约束的遵循程度。开发了一个开源的医疗领域对话模型Clinical Camel，并利用DBKE进行了精调，在美国医师执照考试(USMLE)的Step 1和Step 3上的得分分别达到53.2%和58.2%，相比之下，GPT-3.5的得分分别为36.1%和55.7%。
• 优势：Clinical Camel模型在医学考试、临床决策任务和临床记录生成方面表现出色，具有高度的对齐性。但是，模型会出现幻觉问题，这在安全关键的环境中构成了重大障碍。Clinical Camel的性能凸显了在医疗环境中持续研究和开发开源模型的重要性，以确保大型语言模型在医疗领域的安全有效集成。

介绍了一种基于对话的知识编码方法(DBKE)，通过开发Clinical Camel模型，成功应用于医疗领域，超越了闭源模型在医学考试和临床场景中的表现，同时解决了模型幻觉问题。

https://arxiv.org/abs/2305.12031 

内容中包含的图片若涉及版权问题，请及时与我们联系删除