RecycleGPT: An Autoregressive Language Model with Recyclable Module

解决问题：这篇论文旨在解决大型语言模型在生成K个token时需要运行K次的问题。作者提出了RecycleGPT，这是一个具有可回收模块的生成式语言模型，通过回收预生成的模型状态而不是在多个步骤中运行整个模型来实现快速解码。

关键思路：RecycleGPT的关键思路是利用序列中相邻的token通常具有强烈的相关性，并且可以根据前面的token合理地猜测或推断出序列中的下一个token。作者通过理论评估和对下游文本生成任务的实际测试，证明了他们的方法在降低推理延迟方面的有效性，同时保持高性能，实现了高达1.4倍的加速。

其他亮点：这篇论文的实验设计了两个下游任务：文本生成和语言建模。作者使用了两个数据集进行实验，并在Github上公开了代码。值得深入研究的工作包括如何在更广泛的任务中使用RecycleGPT，并探索如何自适应地选择回收的模型状态。

关于作者：

Yufan Jiang、Qiaozhi He、Xiaomin Zhuang、Zhihua Wu、Kunpeng Wang、Wenlai Zhao、Guangwen Yang

内容中包含的图片若涉及版权问题，请及时与我们联系删除