Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding

为了缓解大型语言模型（LLMs）中自回归解码产生的高推理延迟，探索性解码已经成为LLM推理的一种新的解码范式。在每个解码步骤中，这种方法首先高效地草拟出几个未来的标记，然后并行验证它们。与自回归解码不同，探索性解码促进了每个步骤同时解码多个标记，从而加速推理。本文提供了对这种有前途的解码范式的全面概述和分析。我们首先提供了探索性解码的正式定义和公式化。然后，我们对其关键要素进行了深入讨论，包括当前领先的技术、面临的挑战以及该领域的潜在未来方向。我们的目标是让这项工作成为进一步研究探索性解码的催化剂，最终为更有效的LLM推理做出贡献。

本篇论文旨在介绍和分析 Speculative Decoding 这种新型的大语言模型推理解码范式，以解决自回归解码中的高推理延迟问题。

Speculative Decoding 解决高推理延迟的方法是在每个解码步骤中，首先有效地草拟几个未来的标记，然后并行验证它们。与自回归解码不同，Speculative Decoding 可以每个步骤同时解码多个标记，从而加速推理。

本文首先提供了 Speculative Decoding 的正式定义和公式化，然后对其关键方面进行了深入讨论，包括当前领先的技术、面临的挑战以及未来可能的方向。实验使用了一些数据集，并将结果与其他方法进行了比较。本文的亮点在于提出了一种新的推理解码范式，可以加速大语言模型的推理，为进一步研究提供了启示。

最近的相关研究包括《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。