Apollo: An Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People

虽然全球医疗知识的大量资料主要以英语为主，但当地语言对于提供定制的医疗服务至关重要，特别是在医疗资源有限的地区。为了将医疗人工智能的进步扩展到更广泛的人群，我们旨在开发覆盖全球61亿人口的六种最广泛使用的语言的医疗LLM。这一努力的成果是ApolloCorpora多语言医疗数据集和XMedBench基准测试的创建。在多语言医疗基准测试中，发布的Apollo模型在各种相对较小的大小（即0.5B、1.8B、2B、6B和7B）中取得了最佳性能，尤其是Apollo-7B是迄今为止最先进的多语言医疗LLM，达到了70B的水平。此外，这些轻量级模型可用于在代理调整的方式下提高更大模型的多语言医疗能力，而无需进行微调。我们将开源培训语料库、代码、模型权重和评估基准测试。

本论文旨在开发跨六种最广泛使用的语言的医学语言模型（LLMs），以扩大医学人工智能的应用范围，尤其是在医疗资源有限的地区。同时，论文也试图探索使用小型模型来提高大型模型的多语言医学能力的可行性。

本论文的关键思路是开发ApolloCorpora多语言医学数据集和XMedBench基准测试，并使用多种相对较小的模型（即0.5B、1.8B、2B、6B和7B）开发出最先进的多语言医学LLMs，其中Apollo-7B是最先进的多语言医学LLMs，其效果在70B的大型模型中也表现出色。此外，这些小型模型还可以通过代理调整的方式来提高大型模型的多语言医学能力。

论文开源了训练语料库、代码、模型权重和评估基准，并使用了ApolloCorpora多语言医学数据集和XMedBench基准测试。实验结果表明，使用相对较小的模型可以在多语言医学LLMs的开发中取得最佳性能。值得进一步研究的工作包括如何使用这些小型模型来提高大型模型的医学能力，以及如何将这些模型应用于医学领域的实际问题。

近期在这个领域的相关研究包括：1.《Multilingual medical language model for medical question answering》；2.《Multilingual medical language model for medical named entity recognition and normalization》；3.《Multilingual medical language model for medical text classification》等。