BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

GPT-4和Med-PaLM 2等模型在各种生物医学NLP任务中表现出了令人印象深刻的性能。然而，这些模型具有数百亿个参数，计算成本高，需要用户通过互联网发送输入数据，并且是在未知数据源上进行训练的。更小、更有针对性的模型能否竞争呢？为了回答这个问题，我们构建并发布了BioMedLM，这是一个2.7亿参数的GPT风格的自回归模型，仅在PubMed摘要和全文上进行训练。当进行微调时，BioMedLM可以产生强大的多项选择生物医学问答结果，与更大的模型相竞争，例如在MedMCQA（dev）上获得57.3％的分数，在MMLU医学遗传学考试上获得69.0％的分数。 BioMedLM还可以进行微调，以对医学主题的患者提出有用的答案。这表明，较小的模型可以潜在地作为特定NLP应用的透明、保护隐私、经济和环保的基础，例如在生物医学领域。该模型可在Hugging Face Hub上获得：https://huggingface.co/stanford-crfm/BioMedLM。

论文旨在探讨小型模型在生物医学NLP任务中的可行性，是否能够与大型模型竞争。

BioMedLM是一个只使用PubMed摘要和全文训练的2.7亿参数的GPT风格自回归模型，可以在生物医学多项选择问答任务中取得与大型模型相当的结果。

BioMedLM的实验结果表明，小型模型在特定NLP应用中具有潜在的优势，如透明度高、隐私保护、经济环保等方面。模型已经在Hugging Face Hub上开源。

近年来，生物医学NLP领域中的大型预训练模型层出不穷，如GPT-4和Med-PaLM 2等。