AdaMoLE: Fine-Tuning Large Language Models with Adaptive Mixture of Low-Rank Adaptation Experts

我们介绍了AdaMoLE，一种通过自适应低秩适应（LoRA）专家的混合调整来微调大型语言模型（LLMs）的新方法。AdaMoLE超越了传统方法，采用静态top-k策略来激活专家，它使用专门的阈值网络动态调整激活阈值，自适应地响应不同任务的变化复杂性。通过在层中用多个LoRA专家替换单个LoRA，并将门控函数与阈值机制集成，AdaMoLE可以根据输入上下文有效地选择和激活最合适的专家。我们在各种常识推理和自然语言处理任务中进行了广泛的评估，结果表明AdaMoLE超过了基线性能。这种改进突显了AdaMoLE自适应选择LoRA专家的优势，提高了模型的有效性，而不需要相应地增加专家数量。实验验证不仅确认了AdaMoLE作为增强LLMs的强大方法，而且还为未来的自适应专家选择机制研究提供了有价值的方向，可能扩大了优化各种语言处理任务模型性能的范围。

论文旨在通过自适应低秩适应（LoRA）专家的自适应混合来微调大型语言模型（LLMs）。它试图解决的问题是如何在不增加专家数量的情况下提高模型的效果。

AdaMoLE通过使用专门的阈值网络动态调整激活阈值，根据输入上下文自适应地响应不同任务的不同复杂性，从而有效地选择和激活最合适的专家。它还将多个LoRA专家与门控函数结合起来，以实现有效的选择和激活。

论文的实验结果表明，AdaMoLE的性能优于基线模型。该方法不仅提高了模型的效果，而且没有增加专家数量。论文还提供了有关自适应专家选择机制的有价值的研究方向。

最近的相关研究包括：《Attention is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《GPT-2: Language Models are Unsupervised Multitask Learners》等。