LlamaCare: A Large Medical Language Model for Enhancing Healthcare Knowledge Sharing

大型语言模型(LLMs)在知识记忆和现有技术方面表现出了惊人的能力。然而，当涉及特定领域的知识和医学等下游任务时，通常无法给出精确的答案。此外，当人们想让LLMs回答分类问题时，通常会先进行指令调整。然而，LLMs并不总是在指令调整后直接给出分类的指标。在本文中，我们提出了LlamaCare，这是一个经过精细调整的医学语言模型，以及一个处理LLMs分类问题的模块Extended Classification Integration(ECI)。我们的贡献是：(i)我们使用非常低的碳排放量对医学知识的大型语言模型进行了精细调整，并通过24G GPU实现了与ChatGPT相似的性能。(ii)我们通过提出一个名为Extended Classification Integration的新模块解决了冗余分类答案的问题，并提高了LLMs的性能。(iii)我们发布了我们处理过的数据，用于一次性和少量训练，适用于一些基准测试，如PubMedQA和USMLE 1-3步。我们的方法在基准测试中实现了与一些同等参数的最先进模型相当的性能，同时通过使用更少的GPU计算时间，更环保。我们的模型、代码和数据集可以在\url{https://github.com/Stephen-SMJ/LLamaCare}找到。

本论文试图解决LLMs在领域特定知识和分类问题上的表现不佳的问题，提出了一种fine-tuned的医学语言模型LLamaCare和一个解决分类问题的模块ECI。

本论文的关键思路是使用低碳排放的方式fine-tuned一个医学知识的LLM，同时提出了ECI模块解决分类问题中冗余答案的问题。

本论文的实验结果表明，LLamaCare在一些基准测试中表现接近一些同等参数的最新模型，并且使用更少的GPU计算时间。论文还公开了处理后的数据集和代码。

最近的相关研究包括ChatGPT等LLMs的研究，以及一些在医学自然语言处理领域的研究，比如BERT-MIMIC、BioBERT等。