Harder Tasks Need More Experts: Dynamic Routing in MoE Models

本文介绍了一种新颖的动态专家选择框架，用于混合专家（MoE）模型，旨在通过根据输入难度调整激活专家数量来提高计算效率和模型性能。与传统的MoE方法不同，传统方法依赖于固定的Top-K路由，无论输入的复杂性如何都会激活预定数量的专家，而我们的方法根据每个输入的专家选择的置信度动态选择专家。这允许更有效地利用计算资源，对于需要高级推理的复杂任务激活更多的专家，对于简单任务则激活更少的专家。通过广泛的评估，我们的动态路由方法在各种基准测试中表现出比传统的Top-2路由显着的改进，平均改进了0.7％，激活的参数不到90％。进一步的分析显示，我们的模型将更多的专家分配给需要复杂推理技能的任务，如BBH，证实了它根据输入的复杂性动态分配计算资源的能力。我们的研究结果还强调了在变压器模型的不同层中需要不同数量的专家，为设计异构MoE框架提供了见解。代码和模型可在https://github.com/ZhenweiAn/Dynamic_MoE上获得。

本论文旨在通过动态专家选择框架来增强混合专家模型的计算效率和模型性能，从而根据输入难度调整激活的专家数量。

与传统的MoE方法不同，该方法基于对每个输入的专家选择的置信度来动态选择专家，从而实现更有效的计算资源利用，为需要高级推理的复杂任务激活更多的专家，为简单任务激活更少的专家。

该动态路由方法在各种基准测试中表现出比传统的Top-2路由更好的性能，平均提高0.7%，并且激活的参数少于90%。研究结果还显示，该模型将更多的专家分配给需要复杂推理技能的任务，如BBH，证实了它根据输入复杂度动态分配计算资源的能力。该论文还探讨了不同层次的变量需求，为设计异构MoE框架提供了启示。代码和模型可在https://github.com/ZhenweiAn/Dynamic_MoE上获得。

近期在这个领域中，还有一些相关的研究，如《Mixture of Experts Networks》、《Adaptive Mixture of Experts》、《Deep Mixture of Experts via Shallow Embedding》等。