LightThinker: Thinking Step-by-Step Compression

大型语言模型（LLMs）在复杂推理任务中表现出色，但其效率受到生成长序列标记所需的大量内存和计算成本的限制。本文提出了一种名为LightThinker的新方法，使LLMs能够在推理过程中动态压缩中间思考步骤。受人类认知过程的启发，LightThinker将冗长的思考步骤压缩为紧凑的表示，并丢弃原始的推理链，从而显著减少上下文窗口中存储的标记数量。这是通过数据构建训练模型来实现的，具体包括：确定何时以及如何进行压缩，将隐藏状态映射到浓缩的核心标记，并创建专门的注意力掩码。此外，我们引入了依赖性（Dep）指标，通过测量生成过程中对历史标记的依赖程度来量化压缩的程度。广泛的实验在四个数据集和两个模型上表明，LightThinker减少了峰值内存使用和推理时间，同时保持了具有竞争力的准确性。我们的工作为提高LLMs在复杂推理任务中的效率提供了一个新的方向，而不会牺牲性能。代码将在https://github.com/zjunlp/LightThinker发布。

该论文试图解决大型语言模型（LLMs）在处理复杂推理任务时面临的效率问题，具体表现为生成长序列token时产生的巨大内存和计算成本。这是一个现有问题，因为随着LLMs的规模和能力增长，其资源消耗也相应增加。

关键思路是提出了一种名为LightThinker的新方法，它通过动态压缩中间推理步骤来减少token数量。灵感来源于人类认知过程，该方法将冗长的推理链压缩成紧凑表示，并训练模型学习何时以及如何进行这种压缩。相比现有的研究，这种方法不仅减少了内存占用和推理时间，还保持了模型的准确性。

论文引入了Dependency (Dep) 指标来量化压缩程度，并通过四个数据集和两个模型进行了广泛的实验验证。此外，作者承诺开源代码，这为后续研究提供了宝贵的资源。未来的研究可以进一步探索不同任务中压缩策略的有效性及其对模型性能的影响。

最近在这个领域中的相关研究包括：1.《Compressing Transformers: Pruning, Quantization, and Beyond》探讨了Transformer模型的压缩技术；2.《Efficient Long-Range Transformers for Text Generation》研究了提高长文本生成效率的方法；3.《Memory-Efficient Attention Mechanisms in Large-Scale Language Models》关注大规模语言模型中的高效注意力机制。