CompAct: Compressing Retrieved Documents Actively for Question Answering

检索增强生成支持语言模型通过提供外部语境来加强它们的事实基础。然而，当给予大量信息时，语言模型经常面临挑战，降低了它们解决问题的效力。上下文压缩通过过滤无关信息来解决这个问题，但当前的方法仍然在现实情况下面临困难，因为关键信息无法用单步方法捕捉。为了克服这个限制，我们介绍了CompAct，这是一个新颖的框架，采用主动策略来压缩广泛的文档，而不会丢失关键信息。我们的实验表明，CompAct在多跳问答基准测试中在性能和压缩率方面都带来了显着的改进。CompAct可以灵活地作为成本效益高的插件模块与各种现成的检索器或阅读器一起使用，实现了异常高的压缩率（47倍）。

论文旨在解决检索增强生成模型在处理大量信息时可能遇到的困难，提出了一种能够压缩文本信息但不丢失关键信息的新方法。

论文提出了一种名为CompAct的新框架，采用主动策略来压缩文本信息，以过滤掉无关信息，但不会丢失关键信息。CompAct能够灵活地作为插件模块与各种现成的检索器或阅读器配合使用，实现了显著的压缩率和性能提升。

论文在多跳问答基准测试上进行了实验，证明了CompAct在性能和压缩率方面都有显著的提升。论文使用了各种现成的检索器或阅读器，实现了高压缩率（47倍）和高性能。论文的代码已经开源。

在相关研究方面，最近的一些研究包括《Reducing Transformer Depth on Demand with Structured Dropout》、《Efficient Transformers: A Survey》等。