SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting

提前退出（Early exiting）最近作为一种有前景的技术出现，可以通过有效减少硬件计算和内存访问来加速大型语言模型（LLMs）。在本文中，我们提出了SpecEE，一种带有推测性提前退出的快速LLM推理引擎。（1）在算法层面，我们通过利用推测性标记与正确结果之间的概率相关性以及GPU的高并行性，设计了基于推测的轻量级预测器。（2）在系统层面，我们指出并非所有层都需要预测器，并基于偏态分布和上下文相似性设计了两级启发式预测器调度引擎。（3）在映射层面，我们指出不同的解码方法共享相同的本质特性，并提出了支持推测性解码的情境感知合并映射方法，同时结合高效的GPU实现，形成了一个框架，将各种现有的正交加速技术（例如量化和稀疏激活）整合到云和个人电脑（PC）场景中，成功推动了精度与加速的帕累托前沿。值得注意的是，SpecEE可以应用于任何大型语言模型，仅需极小的预训练开销，且不会影响模型的原始参数。大量实验表明，在云场景和PC场景中，SpecEE分别使Llama2-7B实现了2.25倍和2.43倍的加速。

该论文试图解决大型语言模型（LLMs）在推理过程中计算和内存访问效率低下的问题，特别是如何通过减少不必要的计算来加速模型推理。这是一个重要且热门的研究问题，但并非全新的问题，因为已有研究关注过模型加速技术。

论文提出了一种名为SpecEE的快速LLM推理引擎，其关键思路是通过投机性早期退出（speculative early exiting）技术来优化推理过程。具体包括：1）算法层面设计轻量级预测器，利用GPU的高并行性；2）系统层面设计两层启发式预测器调度引擎；3）映射层面提出基于上下文感知的合并映射方法以支持多种解码方式。相比现有工作，SpecEE的独特之处在于其对推测性机制的深入探索，并能够无缝结合其他正交加速技术（如量化和稀疏激活）。

论文的主要亮点包括：1）实现了显著的速度提升，在Llama2-7B上分别达到了2.25倍（云端）和2.43倍（PC端）的加速效果；2）SpecEE无需改变原始模型参数，仅需极小的预训练开销即可应用到任何LLM；3）设计了通用框架，支持多种解码方法和加速技术；4）实验覆盖了云和PC两种场景，验证了方法的广泛适用性。此外，虽然未明确提到代码开源，但其实验设计全面，使用了主流模型（如Llama2-7B），值得进一步研究的方向包括更高效的预测器设计以及在更大规模模型上的扩展。

最近的相关研究包括：1）早期退出策略（Early Exit），例如《DynamicBERT: Dynamic Multi-Exit BERT for Accelerated Inference》；2）模型压缩技术，如《Low-Rank Approximation of Multi-Head Attention in Transformers》；3）针对LLM的硬件优化，如《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》；4）推测性执行技术，如《Speculative Decoding for Efficient Transformer Inference》。这些研究为SpecEE提供了理论和技术基础，而SpecEE则通过引入投机性和轻量级预测器进一步推动了这一领域的边界。