SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts

深度学习的进步导致了混合专家（MoEs）模型的出现，这些模型以基于输入的动态分配计算资源而闻名。尽管它们很有前途，但MoEs面临挑战，特别是在存储需求方面。为了解决这个问题，我们的工作引入了SEER-MoE，这是一个新颖的两阶段框架，用于减少预训练MoE模型的存储占用和计算要求。第一阶段涉及使用重要数据计数指导来修剪总专家数量，而第二阶段采用基于正则化的微调策略来恢复精度损失并在推理期间减少激活的专家数量。我们的实证研究证明了我们方法的有效性，产生了一个稀疏的MoEs模型，优化了推理效率，并最小化了精度的权衡。

本论文旨在解决Mixture-of-Experts (MoEs)模型在内存需求方面的挑战，提出了一种新的框架SEER-MoE，旨在减少预训练MoE模型的内存占用和计算要求。

SEER-MoE框架包括两个阶段：第一阶段使用“重量级”计数指导来修剪总专家数量；第二阶段采用基于正则化的微调策略来恢复准确性损失，并在推理过程中减少激活的专家数量。

论文通过实验验证了SEER-MoE框架的有效性，展示了针对推理效率进行优化的稀疏MoEs模型，几乎没有准确性损失。值得关注的是，该框架在推理过程中可以动态分配计算资源，从而实现更高效的计算。

近期相关研究包括《Mixture Models with Adaptive Spatial Partitioning for Image Classification》和《Scalable Mixture of Expert Models》。