Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models

我们将大型语言模型（LLMs）的提示压缩问题形式化，并提出了一个框架，将创建黑盒模型的硬提示的基于令牌级别的提示压缩方法统一起来。我们推导了这种设置的失真率函数作为线性规划，并提供了一种通过线性规划的对偶来计算这个基本极限的有效算法。使用失真率函数作为基线，我们研究了现有压缩方案在由马尔可夫链生成的提示、自然语言查询及其各自答案组成的合成数据集上的性能。我们的实证分析证明了查询感知提示压缩的重要性，其中压缩器了解黑盒LLM的下游任务/查询。我们表明，当前提示压缩方法的性能与最优策略之间存在很大差距，并提出了一个查询感知的、可变速率的先前工作的适应方法来缩小差距。我们将我们的实验扩展到一个小型自然语言数据集，以进一步确认我们在合成数据集上的发现。

本文旨在解决语言模型中的提示压缩问题，即如何通过压缩提示来提高黑盒模型的性能。

本文提出了一个统一的令牌级提示压缩方法框架，并提供了一种基于线性规划的失真-速率函数来评估提示压缩的性能。在合成数据集和自然语言数据集上的实验结果表明，对于黑盒模型，具有查询感知的提示压缩方法可以显著提高性能。

本文的亮点包括提出了一个统一的提示压缩方法框架，提供了一种基于线性规划的失真-速率函数来评估提示压缩的性能，实验结果表明查询感知的提示压缩方法可以显著提高性能。

在这个领域中，最近的相关研究包括《Leveraging Pre-trained Checkpoints for Sequence Generation Tasks》和《A Simple Framework for Contrastive Learning of Visual Representations》，它们都探讨了如何利用预训练模型来提高性能。