CompAct: Compressing Retrieved Documents Actively for Question Answering

检索增强生成支持语言模型通过提供外部上下文来加强它们的事实基础。然而，当给出大量信息时，语言模型经常面临挑战，降低了它们解决问题的效力。上下文压缩通过过滤无关信息来解决这个问题，但是当前的方法在现实场景中仍然存在困难，因为关键信息不能用单步方法捕获。为了克服这个限制，我们介绍了CompAct，这是一个新颖的框架，采用主动策略来压缩大量文件，而不会丢失关键信息。我们的实验表明，CompAct在多跳问答基准测试中在性能和压缩率方面都带来了显着的改进。CompAct可以灵活地作为一种成本效益高的插件模块与各种现成的检索器或阅读器一起使用，实现了异常高的压缩率（47倍）。

论文旨在解决文本压缩在语言模型中的应用问题，尤其是在多跳问答中，如何在不丢失关键信息的情况下压缩文本。

CompAct是一种新的框架，采用主动策略来压缩文本，同时保留关键信息。与当前的文本压缩方法相比，CompAct在多跳问答任务中表现出更好的性能和更高的压缩率。

CompAct是一种灵活的插件模块，可以与各种现成的检索器或阅读器一起使用。实验表明，CompAct在多个多跳问答基准测试中都取得了显著的性能提升和压缩率（高达47倍）。

最近的相关研究包括BERT、RoBERTa、ALBERT等预训练语言模型的研究，以及文本压缩领域的一些先前的工作，如GPT-2、GPT-3等。