破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架

中科院自动化所团队 投稿
量子位 | 公众号 QbitAI

大模型参数量飙升至千亿、万亿级，却陷入“规模越大，效率越低” 困境？

中科院自动化所新研究给出破局方案——

首次让MoE专家告别“静态孤立”，开启动态“组队学习”。

具体而言，MoE本是大语言模型（LLM）实现参数量扩张且计算成本仅呈线性增长的核心路径，却长期受困于负载失衡、参数冗余、通信开销的“三难困境”，成为大模型落地部署的主要瓶颈。

而中科院自动化所的研究团队通过专家集群动态重组，不仅让大模型总参数量直降80%，负载方差降低至原来的三分之一，消耗内存更直逼轻量级传统稠密模型，更一举达成通信延迟、负载均衡、内存占用的三重优化，为大参数LLM的低成本部署提供了新路径。

下面详细来看——

一套统一框架直击MoE底层运作模式

随着LLM参数规模的持续扩张，模型规模增长与计算效率优化难以协同推进的核心挑战逐渐显现，混合专家模型（MoE）作为一种稀疏激活架构，为模型规模的持续扩展提供了理论上极具吸引力的技术途径。

它通过将计算任务动态分配给不同的“专家”子神经网络，使得模型参数量迅速增长的同时，计算成本仍能保持近乎线性增长。

然而，MoE在实际部署中面临着源于现代硬件体系结构限制的严峻挑战——一个根本性的“优化三难困境”制约了MoE模型的实际效能。

负载不均衡、参数冗余和通信开销这三大瓶颈，不仅各自形成了突出的优化难题，更关键的是，它们深度耦合、相互制约，成为当前MoE系统设计的核心障碍。

这些困境直接源于硬件的物理限制：

• 内存与容量限制：MoE巨大的参数量对GPU有限的高带宽显存构成了巨大压力，使得参数冗余成为一个关乎成本与可行性的关键问题。

• 计算资源利用率低：传统Top-K会直接将大量tokens路由给少数几个得分top的专家，这种路由方式极易引起高分专家计算过载，而其他专家则在GPU中长期处于空闲状态，造成了昂贵计算单元的严重浪费，使得实际吞吐量远低于理论值。

• 通信瓶颈：在多节点、多GPU的分布式训练中，实现Token到专家的动态路由所需的“All-to-All”全局通信模式，其高昂的延迟常常成为整个系统的性能主导因素。

面对此“三难困境”，现有的优化工作往往是碎片化的，未能从系统层面统一解决问题。

例如，负载均衡损失函数是一种被动的补偿机制；参数压缩技术（如MoE-Lite）虽减少了参数，却将专家视为独立的实体，忽视了其内在的结构关联性；而通信感知路由虽优化了数据传输路径，却无法改变模型固有的冗余和失衡问题。

这种“事后补救”的优化思路，凸显出一个严峻的现实——学界迫切需要一个能够协同解决这三重内在矛盾的统一框架。

近日，来自中国科学院自动化研究所的研究团队，提出了一套统一框架，该框架直击MoE的底层运作模式。

研究团队发现，被语义相似的输入所激活的专家，其参数本身也存在着结构性冗余。

这一发现为设计动态的、结构化的专家组织方式提供了理论依据，将专家从“静态孤立的个体”转变为“动态协作的联盟”。

实验表明，该框架在几乎不损失模型性能的前提下，实现了总参数量削减80%，吞吐量提升10%-20%，峰值内存消耗降低至逼近轻量级稠密模型的水平。

这项研究为构建更高效、更经济、更具可扩展性的MoE大模型提供了坚实的理论与实践基础。

方法详解：动态专家分组与结构化压缩的统一框架

为了系统性解决上文提到的三难困境，研究团队提出的框架将MoE的优化过程形式化为一个统一的联合优化数学问题，目标函数旨在同时最小化任务损失、负载不均衡、参数冗余和通信成本：

为求解该问题，研究团队设计了四个紧密耦合、协同作用的核心技术组件。

1.在线双相似度聚类

为克服传统Top-K路由在动态输入分布下易于导致的负载失衡问题，研究团队提出了一个主动对专家集合进行动态重组，而非被动调整路由概率的解决方案。

研究团队设计了一种在线聚类算法，周期性地将专家动态划分至若干专家簇。聚类的核心依据是一个融合相似度指标S，该指标同时量化了专家的“结构相似性”与“功能相似性”：

• 结构相似性（S_param )：通过计算两个专家权重矩阵W_𝑖和W_𝑗向量化表示的余弦相似度，直接衡量它们在参数空间中的接近程度，揭示其底层的结构关联。

• 功能相似性（S_task )：研究团队利用路由器的输出logit作为输入Token的有效语义嵌入。为每个专家维护一个“激活质心”𝛍_𝑖（路由至该专家的Token嵌入的指数移动平均值）。若两个专家的激活质心在向量空间中相近，则表明它们的功能定位趋同。

通过加权融合S（𝛆_𝑖，𝛆_𝑗 ）=𝛼S_param +（1—𝛼）S_task，研究团队获得一个全面的相似度度量，基于该指标周期性地运行K-means++聚类算法即可进行专家动态重组。

该方法保证了簇内专家的高度相关性，为后续的结构化参数压缩提供了前提。通过将路由过程分解，天然地平滑了Token分配的波动，起到粗粒度负载均衡的作用。

△图1：在线双相似度聚类与簇内结构化压缩框架示意图

2.共享基底与低秩残差压缩

既然簇内专家具有高度的功能与结构相似性，完整存储每个专家的参数矩阵便构成了显著的冗余。

研究团队提出一种结构化的参数分解方法，将每个专家的权重矩阵W_𝑖分解为一个共享的公共部分和一个低秩的特有部分。

• 共享基底：对于簇g内的所有专家，研究团队将其权重矩阵进行平均，得到一个代表该簇公共能力的共享基底矩阵。该矩阵仅需存储一份，由簇内所有专家共享。

• 低秩残差（ΔW_𝑖） ：每个专家的特异性信息由其原始权重与共享基底的差值，即残差矩阵来表征。研究团队认为，该残差矩阵具有低秩特性，因此可将其高效地分解为两个小维度矩阵A𝑖和B𝑖的乘积。

在前向计算中，，其中的计算结果可在簇内专家间复用，提升了计算效率。

此分解方法实现了显著的参数压缩。其研究团队用一个压缩比（CR）公式进行衡量：

在典型配置下（d=4096，K=8，r=16），专家簇内压缩比高达6.6倍，框架能在几乎不损失模型表达能力的前提下，大幅削减参数冗余。

3.分层路由

传统的扁平化MoE路由机制需在全部专家中进行选择，其All-to-All通信模式是系统性能的主要瓶颈。研究团队设计了一种两阶段分层路由策略，将路由决策过程分解。

• 第一阶段：簇级别路由。输入Token x首先与G个簇的“原型向量”𝒰_𝑔 计算相似度，通过Softmax选择最匹配的目标簇𝑔^*。此步骤将路由的搜索空间从E个专家缩小至G个簇。

• 第二阶段：专家级别路由。在选定的簇𝑔^*内部，Token x再与该簇内的K个专家的路由权重𝑣_𝑖计算相似度，通过另一次Softmax选择最终激活的Top-K个专家。

下图为分层路由机制示意图。该机制将路由过程分解为簇选择与簇内专家选择两个阶段。

通过这种先选组再选专家的路由方法，路由计算复杂度从O（E·d）降低到O（G·d+K·d），在分布式环境中，数据仅需发送至托管目标簇𝑔^* 的GPU子集，从而显著降低了All-to-All通信的数据交换，直接缓解了系统的通信延迟瓶颈。

4. 异构精度与动态内存管理

为进一步降低MoE模型的显存占用，使其能在更广泛的硬件上部署。

研究团队对不同参数组件采用非均匀的数值精度。敏感度较高的共享基底矩阵（图5）存储为FP16格式，而容错性更高的低秩残差因子A_𝑖，B_𝑖则被量化为INT4格式。

同时，研究团队设计了一套内存管理策略，实时监控专家簇的活跃度。若一个簇在连续多个步骤中未被激活，则将其参数从GPU显存动态卸载至NVMe存储。伴随着动态卸载，一个滚动激活预测器会异步地将预测将被调用的簇预取回显存。

该内存优化策略将MoE模型的峰值内存消耗降低至与小一个数量级的稠密模型相当的水平，显著提升了大规模MoE模型的易用性。

实验验证：性能、效率与均衡性的综合收益

研究团队在GLUE和WikiText-103等标准NLP基准上进行了全面的实验评估。

相较于基线模型Switch Transformer，研究团队的框架在维持相近模型质量的同时，总参数量减少约80%，吞吐量提升10%-20%，峰值内存消耗降低近50%。

而在启用动态卸载与量化后，模型的内存占用可与标准的稠密Transformer模型相媲美，为在资源受限环境下部署和研究MoE模型提供了可行性。

研究团队的方法将专家负载的变异系数降低了超过三分之一，证明了动态聚类在缓解负载失衡问题上的有效性。

而消融实验进一步证实，框架中的在线聚类、低秩压缩和分层路由等组件对最终的性能增益均有不可或缺的贡献。

论文链接：https://arxiv.org/abs/2510.02345