The Disparate Impacts of Speculative Decoding

推测性解码（speculative decoding）是一种通过使用更小、成本更低的“草稿”模型进行概率性辅助推理的方法，目前已成为系统性降低大语言模型解码时间的标准技术。本文从不同任务间可能存在的加速效果差异这一视角出发，对推测性解码进行了分析。关键的是，本文指出推测性解码所带来的加速效果在不同任务之间并非均匀分布，对于欠拟合且通常代表性不足的任务，其加速效果持续减弱。为了更好地理解这一现象，我们提出了一种量化这种“不公平性”的分析方法，并指出了导致加速效果差异的关键因素。进一步地，基于这些发现，本文提出了一种旨在减小加速效果差异的缓解策略，并在多组模型组合上验证了该方法的有效性，结果表明我们的公平性指标平均提升了12%。

论文探讨了推测解码（speculative decoding）在不同任务间加速效果的不均衡问题，即该技术对欠拟合或代表性不足的任务加速效果较差，可能导致性能提升的‘不公平’分布。这一问题此前未被系统研究，因此具有新颖性。

通过理论分析量化推测解码中的速度提升不公平性，并揭示其根源在于 drafter 模型在低质量或分布外任务上的预测一致性较低。基于此，提出一种动态调整策略以缓解不同任务间的加速差异，在多个模型对上实现了更公平的推理加速。

论文设计了跨多种模型组合（如 LLaMA 系列与小型 drafter 模型）的实验，验证了所提公平性指标和缓解策略的有效性，平均提升了12%的公平性指标。研究使用公开模型进行评估，虽未明确提及代码开源，但方法具备可复现性。未来可深入研究自适应 drafter 选择、任务感知的推测机制等方向。

1. Fast Inference with Speculative Decoding: Accelerating Large Language Model Generation 2. Medusa: Simple Framework for Fast Inference of LLMs 3. Eagle: Efficient Self-Speculative Decoding for LLMs 4. Branch-Execute: Speculative Inference with Adaptive Drafting 5. Fairness in Machine Learning: A Survey