PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications

开发智能儿科咨询系统为提高诊断效率提供了有前途的前景，尤其是在医疗资源匮乏的中国。尽管近年来中文医学大语言模型（LLMs）取得了进展，但由于指导数据不足和易受攻击的训练程序，它们在儿科应用中的表现不佳。为解决上述问题，本文构建了PedCorpus，一个高质量的数据集，包括来自儿科教科书、指南和知识图谱资源的超过300,000个多任务指令，以满足不同的诊断需求。在设计良好的PedCorpus基础上，我们提出了PediatricsGPT，这是第一个基于系统化和强大的训练管道构建的中文儿科LLM助手。在持续的预训练阶段中，我们引入了混合指令预训练机制，以减轻LLMs在医学领域适应中注入的内部知识不一致性。接着，我们采用全参数监督微调（SFT）来将一般医学知识模式纳入模型。之后，我们设计了直接跟随偏好优化，以增强生成类似儿科医生的人性化回应。在参数高效的次级SFT阶段，我们提出了通用-特定专家策略的混合，以解决医学全科医师和儿科专业知识掌握之间的能力冲突。基于指标、GPT-4和不同医生下游任务的医生评估，广泛的结果表明，PediatricsGPT始终优于以前的中文医学LLMs。我们的模型和数据集将开源供社区开发。

解决问题：如何提高中国儿科医疗诊断效率？

关键思路：构建高质量的儿科文本数据集PedCorpus，并基于此设计了一个系统且强健的训练管道，提出了PediatricsGPT，第一个针对儿科领域的中文语言模型。

其他亮点：PedCorpus数据集包含超过30万个多任务指令，模型训练采用了混合指令预训练机制、全参数监督微调、直接跟随偏好优化和混合通用-特定专家策略等技术，实验结果表明PediatricsGPT在不同的医学任务上表现优异。

相关研究：最近的相关研究包括中文医学语言模型的发展和儿科医疗诊断系统的研究。