Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models

专家混合模型（MoE）通过在推理过程中稀疏激活专家，实现了大规模语言模型（LLMs）的有效扩展。为了在内存受限的设备上有效部署大型 MoE 模型，许多系统引入了 *专家卸载* 技术，该技术将一部分专家缓存到快速内存中，而将其余专家保留在慢速内存中，以便在 CPU 上运行或按需加载。尽管一些研究已经利用了专家激活的局部性特性（即连续的标记倾向于激活相似的专家），但这种 **局部路由一致性** 的程度因模型而异，且尚未得到充分研究。在本文中，我们提出了两个指标来衡量 MoE 模型的局部路由一致性：(1) **分段路由最佳性能（SRP）**，用于评估一组固定的专家在多大程度上能够满足一段标记的需求；(2) **分段缓存最佳命中率（SCH）**，用于测量在给定缓存大小限制下，最优的分段级缓存命中率。我们分析了 20 个具有不同规模和架构的 MoE 大语言模型，发现那些在每一层都应用 MoE 且不使用共享专家的模型表现出最高的局部路由一致性。我们进一步证明，领域专用的专家对路由一致性的影响比词汇专用的专家更大，并且大多数模型可以通过大约两倍于活跃专家数量的缓存大小，在缓存效率和效果之间实现平衡。这些发现为设计和部署高效的 MoE 模型铺平了道路，同时不会牺牲推理速度。我们已将实验复现代码发布在 https://github.com/ljcleo/moe-lrc 。

该论文试图解决如何在内存受限设备上高效部署大规模Mixture-of-Experts (MoE) 模型的问题。具体来说，它研究了专家激活的局部一致性（local routing consistency），以优化缓存策略和提升推理效率。这是一个相对较新的问题，尤其是在深入分析不同模型架构对局部一致性的影响方面。

论文提出了两个新指标：Segment Routing Best Performance (SRP) 和 Segment Cache Best Hit Rate (SCH)，用于量化MoE模型的局部路由一致性。通过这些指标，作者发现特定架构（如每层应用MoE且不共享专家）具有更高的局部一致性，并证明了缓存大小约为活跃专家数量两倍时可以实现性能与效率的良好平衡。这种方法为设计更高效的MoE模型提供了理论支持。

1. 提出了两种新颖的评估指标SRP和SCH，用于测量MoE模型的局部路由一致性；2. 分析了20个不同的MoE大语言模型，涵盖了多种规模和架构；3. 发现了领域专用专家比词汇专用专家对路由一致性贡献更大；4. 提供了一个开源代码库（https://github.com/ljcleo/moe-lrc），便于复现实验结果；5. 结果表明，大多数模型可以通过约2倍活跃专家数量的缓存实现高效推理，这为未来硬件优化提供了方向。

相关研究包括：1. 「Efficient Sparsely Activated Models」探讨了稀疏激活模型的设计原则；2. 「Expert Offloading for Large Language Models」研究了专家卸载技术在LLMs中的应用；3. 「Locality in Mixture-of-Experts Systems」分析了MoE系统中激活模式的局部性；4. 「Cache Optimization for Neural Networks」讨论了神经网络缓存策略的优化方法。这些工作共同构成了当前关于MoE模型高效部署的研究背景。