Mixture of LoRA Experts

LoRA已经在对大型预训练模型进行微调方面获得了广泛的认可，以满足各种下游任务的需求，展示了显著的有效性和效率，从而巩固了其作为最常见微调技术之一的地位。由于LoRA的插件具有模块化的特性，研究人员已经深入研究了多个LoRA的融合，以使模型在各种下游任务中表现出色。然而，现有的LoRA融合方法面临固有的挑战。直接算术合并可能会导致原始预训练模型的生成能力或LoRA的独特身份的丧失，从而产生次优结果。另一方面，基于参考微调的融合在有效组合多个LoRA方面存在局限性。为了应对这些挑战，本文介绍了Mixture of LoRA Experts（MoLE）方法，该方法利用分层控制和自由分支选择。MoLE方法不仅在LoRA融合性能方面优于直接算术合并，而且保留了组合LoRA的关键灵活性。在自然语言处理（NLP）和视觉语言（V＆L）领域进行的广泛实验评估证实了MoLE的有效性。

该论文旨在解决多个LoRA插件的融合问题，以提高模型在不同下游任务上的性能和灵活性。

该论文提出了一种名为MoLE的混合LoRA专家方法，利用分层控制和自由分支选择来实现更好的LoRA融合性能和灵活性。

该论文在自然语言处理和视觉与语言领域进行了广泛的实验评估，证明了MoLE的有效性。该方法不仅比直接算术合并更好，而且在结合多个LoRA时具有更大的灵活性。

最近的相关研究包括：Mixout、Dropout、DropConnect、DropBlock等。