DA-MoE: Towards Dynamic Expert Allocation for Mixture-of-Experts Models

基于Transformer的专家混合（MoE）模型一直在推动自然语言处理（NLP）中的几项技术进步。这些MoE模型采用路由器机制来确定激活哪些专家以路由输入标记。然而，现有的路由器机制为每个标记分配了固定数量的专家，忽略了不同输入标记的重要性差异。在本研究中，我们提出了一种新颖的动态路由器机制，即基于有效标记重要性度量的动态分配变量数量专家的专家混合（DA-MoE）模型。首先，我们展示了Transformer注意机制提供了一种自然而有效的计算标记重要性的方法。其次，我们提出了一种动态路由器机制，有效地决定最佳专家数量（K）并为每个输入标记分配前K个专家。第三，对几个基准数据集的全面实验表明，我们的DA-MoE方法在流行的GLUE基准测试中始终优于最先进的基于Transformer的MoE模型。

本论文旨在解决Mixture-of-Experts (MoE)模型中路由机制分配固定数量专家的问题，提出一种基于Transformer注意力机制的动态路由机制(DA-MoE)，根据输入标记的重要性动态分配不同数量的专家。

本论文的关键思路是使用Transformer注意力机制计算标记的重要性，并提出一种动态路由机制，根据标记的重要性动态分配专家。

本论文的实验结果表明，DA-MoE方法在多个基准数据集上都优于当前最先进的基于Transformer的MoE模型。论文提供了开源代码，并且指出未来可以探索如何进一步优化DA-MoE方法。

在最近的研究中，也有一些关于MoE模型和动态路由机制的研究，如《Adaptive Routing for Large-scale Multi-hop Inference》和《Dynamic Routing Between Capsules》。