Concise and Precise Context Compression for Tool-Using Language Models

在上下文中阅读文档的情况下，利用工具的语言模型可以使用外部工具动态扩展其功能。代价是每次模型需要使用工具时，我们必须输入冗长的文档，这不仅占用了输入窗口，也减缓了解码过程。鉴于通用压缩技术的进展，软上下文压缩是缓解问题的合适方法。然而，在压缩工具文档时，现有方法存在关键信息丢失（特别是工具/参数名称错误）和难以根据文档长度调整压缩序列长度的弱点。为了解决这些问题，我们提出了两种策略，将工具文档压缩为简洁而精确的摘要序列，供使用工具的语言模型使用。1）选择性压缩策略通过有意保留关键信息作为原始文本标记来减轻关键信息丢失。2）块压缩策略涉及将工具文档分成短块，然后采用固定长度的压缩模型来实现可变长度压缩。这种策略有助于灵活调整压缩比。在API-Bank和APIBench上的结果表明，我们的方法在高达16倍的压缩比下达到了与上限基线相当的性能。

本论文旨在解决工具使用语言模型中输入冗长文档的问题，通过软上下文压缩的方式对工具文档进行压缩，但现有方法容易丢失关键信息和难以调整压缩比例的问题。

本论文提出两种策略来将工具文档压缩为简洁而准确的摘要序列，以供工具使用语言模型使用。这两种策略分别是有选择性的压缩策略和块压缩策略，能够减少关键信息的丢失和灵活调整压缩比例。

本论文在API-Bank和APIBench数据集上进行了实验，结果表明我们的方法在高达16倍的压缩比下，性能与基准线相当。此外，本论文提出的两种策略可以为未来的研究提供借鉴和启示。

在相关研究方面，最近的研究包括基于神经网络的文本压缩方法和上下文感知的文本压缩方法等。