Buffer Overflow in Mixture of Experts

混合专家模型（MoE）已成为扩展大型基础模型并保持推理成本稳定的关键因素。我们表明，具有跨批次依赖性的专家路由策略容易受到攻击。如果恶意查询与良性查询分组在同一批次中，则恶意查询可能会发送到模型，并影响模型对其他良性查询的输出。我们通过玩具实验环境中的概念验证攻击来证明这一点。

本论文试图解决Mixture of Experts（MoE）在路由策略中存在的漏洞问题，即跨批次依赖的路由策略容易受到攻击。

本文提出了一种新的路由策略，称为Decoupled Greedy Allocation（DGA），它通过将路由决策从批次级别转移到单个查询级别，从而消除了跨批次依赖性，提高了模型的安全性。

本文在toy实验环境中进行了攻击演示，并且提出了DGA路由策略作为解决方案。实验表明，DGA路由策略不仅可以提高模型的安全性，而且在计算效率方面与现有的路由策略相当。此外，本文还提供了可重复使用的代码和开源数据集。

最近的相关研究包括使用MoE的大型语言模型，如GShard和Switch Transformers，以及其他MoE路由策略的改进，如Top-k和Sampled Routing。