WDMoE: Wireless Distributed Large Language Models with Mixture of Experts

大型语言模型（LLMs）在各种自然语言处理任务中取得了显著的成功，但无线通信如何支持LLMs的研究还没有得到广泛的研究。本文提出了一种基于Mixture of Experts（MoE）的无线分布式LLMs范例，名为WDMoE，将LLMs协同部署在基站（BS）的边缘服务器和移动设备上的无线通信系统中。具体来说，我们通过在BS上部署门控网络和前面的神经网络层来分解LLMs中的MoE层，同时在设备上分布专家网络。这种安排利用了分布式设备上专家网络的并行能力。此外，为了克服无线通信的不稳定性，我们设计了一个专家选择策略，考虑了模型的性能和端到端延迟，其中包括传输延迟和推理延迟。在各种LLMs和多个数据集上进行的评估表明，WDMoE不仅优于现有模型，如具有700亿参数的Llama 2，而且显着降低了端到端延迟。

论文旨在研究如何在无线通信系统中支持大型语言模型 (LLMs)，并提出了一种基于Mixture of Experts (MoE)的无线分布式LLMs范式，名为WDMoE。具体来说，它将MoE层分解为门控网络和前置神经网络层，并在基站的边缘服务器和移动设备上分布专家网络，以利用分布式设备上的并行能力。

WDMoE的关键思路是将MoE层分解为门控网络和前置神经网络层，并在基站的边缘服务器和移动设备上分布专家网络，以利用分布式设备上的并行能力。同时，为了克服无线通信不稳定性，设计了一个专家选择策略，考虑了模型性能和端到端延迟。

论文使用多个数据集进行评估，并展示了WDMoE相比现有模型（如具有700亿参数的Llama 2）的优越性，同时显著减少了端到端延迟。值得关注的是，WDMoE的设计可以在移动设备上实现高效的语言处理，而且可以为边缘计算提供新的思路。

最近的相关研究包括EdgeBERT、FedBERT和FLMoE等。