Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches

本研究在医学大语言模型（LLMs）的背景下，全面分析和比较了两种主要的微调方法——全参数微调和参数高效微调。我们基于Llama-2架构开发和改进了一系列LLMs，专门设计用于增强医学知识检索、推理和问答能力。我们的实验系统地评估了这些微调策略在各种知名的医学基准测试中的有效性。值得注意的是，我们的医学LLM Med42在美国医疗执照考试（USMLE）数据集上表现出72%的准确率，创造了公开可用的医学LLMs性能的新标准。通过这种比较分析，我们旨在确定医学领域LLMs微调的最有效和高效方法，从而为AI驱动的医疗应用的发展做出重要贡献。

本论文旨在比较医学大语言模型中两种主要的微调方法——全参数微调和参数高效微调的有效性和效率，并通过实验评估这些方法在各种医学基准测试中的表现。

通过开发和改进基于Llama-2架构的LLM，特别是针对医学知识检索、推理和问答能力的LLM，系统评估这些微调策略的有效性。

实验结果表明，Med42在美国医学执照考试（USMLE）数据集上的准确率达到了72％，创造了公开可用的医学LLM性能的新标准。值得关注的是，该论文比较了两种微调方法的优劣，有助于推动AI驱动的医疗应用的发展。

最近的相关研究包括“Pre-training Medical Language Models with Scientific Abstracts”和“ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission”。