Nearest Neighbor Speculative Decoding for LLM Generation and Attribution

本文介绍了一种新的半参数语言建模方法Nearest Neighbor Speculative Decoding (NEST)，可以将任意长度的真实文本片段整合到语言生成中，并提供其来源的归属。该方法在每个推理步骤中执行标记级检索，计算半参数混合分布，并在语料库中识别有前途的片段延续。然后，它使用一个近似的推测解码过程，接受检索到的片段的前缀或生成一个新的标记。NEST显著提高了基础语言模型在各种知识密集型任务中的生成质量和归属率，超越了传统的kNN-LM方法，并与上下文检索增强方法竞争。此外，NEST大大提高了生成速度，在应用于Llama-2-Chat 70B时推理时间加速了1.8倍。

NEST试图解决的问题是语言模型的幻觉和归因能力不足的问题，提出了一种半参数语言建模方法，能够将现实世界的文本片段融入到生成的语言模型中，并提供其来源的归因。

NEST在每个推理步骤中执行基于标记的检索，计算半参数混合分布并在语料库中识别有前途的片段延续，然后使用近似推断解码过程接受检索到的片段的前缀或生成新的标记。

NEST显着提高了基础语言模型的生成质量和归因率，在各种知识密集型任务中超越了传统的kNN-LM方法，并在上下文检索增强方面表现出竞争力。此外，NEST大大提高了生成速度，在应用于Llama-2-Chat 70B时实现了1.8倍的推理时间加速。论文使用了多个数据集，并提供了开源代码。

最近在这个领域的相关研究包括kNN-LM和上下文检索增强方法。