MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts

我们提出的方法是“Dyadic Experts的混合”（MoDE），它引入了一种新颖的设计，用于高效的多任务适应。我们的设计通过在任务之间共享下投影矩阵和使用原子秩一适配器以及路由器来实现。我们的设计允许更细粒度的混合，从而增加了模型同时处理多个任务的能力。我们在包含700多个不同任务的“超自然指令”（SNI）基准测试中评估了MoDE，并证明它优于最先进的多任务参数高效调整（PEFT）方法，而不引入额外的参数。我们的发现有助于更深入地了解多任务LLM适应的参数效率，并为部署高性能、轻量级模型提供了实用的解决方案。

论文旨在提出一种更高效的多任务参数微调方法，以解决大型语言模型（LLM）适应多种任务时存在的冗余问题。

论文提出了一种名为Mixture of Dyadic Experts（MoDE）的新型设计，通过共享下投影矩阵并使用原子秩一适配器以及路由器来实现更有效的多任务适应。

论文在Supernatural Instructions（SNI）基准测试上评估了MoDE，并展示了它在多任务参数微调（PEFT）方法中的优越表现，同时不引入额外的参数。值得关注的是，MoDE的设计允许更细粒度的混合，从而增加了模型同时处理多个任务的能力。

最近的相关研究包括使用LoRA模块的多任务PEFT方法以及其他一些参数微调技术。