500xCompressor: Generalized Prompt Compression for Large Language Models

压缩提示对于提高推理速度、降低成本和改善用户体验至关重要。然而，当前的方法面临着低压缩比和在评估过程中可能出现数据泄露等挑战。为了解决这些问题，我们提出了500xCompressor，一种将广泛的自然语言上下文压缩为一个特殊令牌的方法。500xCompressor引入了约0.3%的额外参数，实现了6x至480x的压缩比。它被设计用于压缩任何文本，回答各种类型的问题，并且可以由原始的大型语言模型（LLM）使用，而无需进行微调。最初，500xCompressor在Arxiv语料库上进行了预训练，随后在ArxivQA数据集上进行微调，并在严格未见过的经典问答（QA）数据集上进行了评估。结果表明，与使用非压缩提示相比，LLM保留了62.26-72.89%的能力。该研究还表明，并非所有压缩令牌都被充分利用，而K V值在保留高压缩比下的信息方面具有显着优势。自然语言提示的高度压缩特性，即使对于细粒度的复杂信息，也表明了未来应用和进一步研究开发新的LLM语言的潜在前景。

本文旨在解决促进推理速度、降低成本和提高用户体验的压缩问题，同时避免低压缩比和评估过程中的数据泄漏等挑战。

500xCompressor是一种将广泛的自然语言上下文压缩为最少一个特殊令牌的方法，能够实现6x至480x的压缩比，而不需要对原始大型语言模型进行微调。

500xCompressor在Arxiv语料库上进行了预训练，然后在ArxivQA数据集上进行了微调，并在严格未见过的和经典的问答数据集上进行了评估。实验结果表明，相比于使用非压缩提示，LLM保留了62.26-72.89%的性能。此外，研究还发现，不是所有压缩令牌都被充分利用，而K V值在高压缩比下保留信息方面具有显着优势。

最近的相关研究包括“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”和“RoBERTa: A Robustly Optimized BERT Pretraining Approach”。