PROMPT-SAW: Leveraging Relation-Aware Graphs for Textual Prompt Compression

大型语言模型（LLMs）在多个自然语言处理任务中表现出了卓越的能力。虽然提示是LLM推理的关键工具，但我们观察到过长的提示会带来显著的成本。现有的压缩长提示的尝试导致压缩后的提示在可读性和可解释性方面表现不佳，对提示的效用产生不利影响。为了解决这个问题，我们提出了PROMPT-SAW：通过关系感知图进行提示压缩，这是一种有效的任务无关和任务感知提示压缩策略。PROMPT-SAW利用提示的文本信息构建图形，然后提取图形中的关键信息元素，以得出压缩后的提示。我们还提出了GSM8K-AUG，即任务无关提示现有GSM8k基准的扩展版本，以提供全面的评估平台。使用基准数据集的实验评估表明，通过PROMPT-SAW压缩的提示不仅在可读性方面更好，而且在任务感知和任务无关设置下，它们的性能也比最佳基线模型分别提高了14.3和13.7，同时压缩原始提示文本的比例分别为33.0和56.7。

提出一种有效的任务无关和任务相关提示压缩策略，以减少超长提示的使用成本。

使用提示的文本信息构建图形，然后提取图形中的关键信息元素来压缩提示。这种策略被称为PROMPT-SAW。

论文提出了一种有效的提示压缩策略PROMPT-SAW，可以显著提高提示的可读性和可解释性，同时在任务无关和任务相关设置下都优于现有的最佳基线模型。论文还提出了GSM8K-AUG，这是一个用于评估任务无关提示的扩展基准。实验使用基准数据集进行评估，并展示了PROMPT-SAW的压缩效果。

最近的相关研究包括：1）GPT-3等大型语言模型的发展；2）提示优化的研究，例如使用自动学习技术进行提示生成。