Assessing The Potential Of Mid-Sized Language Models For Clinical QA

大型语言模型，例如GPT-4和Med-PaLM，在临床任务中表现出了惊人的性能；然而，它们需要计算资源，是封闭源代码的，不能部署在设备上。中等规模的模型，例如BioGPT-large、BioMedLM、LLaMA 2和Mistral 7B避免了这些缺点，但它们在临床任务方面的能力尚未得到充分研究。为了帮助评估它们在临床应用中的潜力，并帮助研究人员决定应该使用哪个模型，我们比较了它们在两个临床问答（QA）任务上的表现：MedQA和消费者查询回答。我们发现，Mistral 7B是最好的表现模型，在所有基准测试中获胜，并且优于专门针对生物医学领域训练的模型。虽然Mistral 7B的MedQA得分达到了63.0％，接近原始的Med-PaLM，而且它通常能够对消费者健康问题提出合理的回答，但仍有改进的空间。本研究提供了首次对开源中等规模模型在临床任务上进行头对头评估的研究。

中等规模的语言模型在临床任务上的表现如何？

比较了多个中等规模的语言模型在两个临床问答任务上的表现，发现Mistral 7B表现最佳。

使用了两个临床问答任务进行比较，提供了开源中等规模语言模型在临床任务中的表现评估；Mistral 7B表现最佳，比专门针对生物医学领域训练的模型表现更好；Mistral 7B在MedQA任务中的得分接近于原始的Med-PaLM。

最近的相关研究主要集中在大规模语言模型上，如GPT-4和Med-PaLM。