MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts

大型语言模型，如ChatGPT，已经在自然语言理解和生成方面取得了实质性的进展，在包括医学在内的各个学科中证明了其价值。尽管有了这些进展，由于医学任务的复杂性和多样性，仍然存在挑战，这些任务通常需要多任务学习能力。以往的方法虽然有益，但在实际应用中存在缺陷，因为它们需要在推理时进行特定任务的注释，从而限制了更广泛的泛化。本文介绍了MING-MOE，这是一种新颖的基于混合专家（MOE）的医学大型语言模型，旨在管理多样化和复杂的医学任务，而不需要特定任务的注释，从而增强了其在广泛数据集上的可用性。MING-MOE采用了一种低秩适应混合（MoLoRA）技术，通过保持基础模型参数静态并通过一组最小的可训练参数进行适应，从而实现了有效的参数使用。我们证明MING-MOE在20多个医学任务上实现了最先进的（SOTA）性能，说明它比现有模型有了显着的改进。这种方法不仅扩展了医学语言模型的能力，而且提高了推理效率。

论文旨在通过提出MING-MOE，一种基于MOE的医学大语言模型，解决医学任务的多样性和复杂性，不需要特定任务的注释，从而提高其在广泛数据集上的可用性。

MING-MOE采用Mixture of Low-Rank Adaptation (MoLoRA)技术，通过保持基础模型参数静态，同时通过一组最小的可训练参数进行调整，实现了高效的参数使用。这种方法不仅扩展了医学语言模型的能力，而且提高了推理效率。

论文展示了MING-MOE在20多个医学任务上实现了最先进的性能，证明了其相对于现有模型的显着改进。实验使用了多个数据集，并提供了开源代码。

相关研究包括使用Transformer的其他医学语言模型，如BioBERT和ClinicalBERT。