Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor

尽管检索增强语言模型（RALMs）已经很普遍，但将这些模型与检索机制无缝集成以增强文档任务性能仍然具有挑战性。虽然一些后检索处理的检索增强生成（RAG）方法已经取得了成功，但大多数仍然缺乏区分相关和无关信息的能力，导致生成的输出潜在地不一致且精度降低，随后影响了语言模型响应的真实性。为了解决这些限制，本文提出了一种新颖的两阶段一致性学习方法，用于在检索增强语言模型中压缩检索信息以提高性能。通过整合一致性学习，旨在生成保持一致性和与教师模型的预期语义表示对齐的摘要，同时提高对原始检索文档的忠实度。所提出的方法在多个数据集上进行了实证验证，展示了在问答任务中精度和效率的显着提高。它优于现有的基线，并展示了在检索增强生成框架中结合对比和一致性学习范式的协同效应。

提高检索增强语言模型的性能，特别是在文档型任务中的表现，通过压缩检索到的信息实现更高的精度和效率。

提出了一个新的两阶段一致性学习方法，用于压缩检索到的信息并生成保持一致性和对原始文档忠实的摘要，以提高检索增强语言模型的性能。

论文在多个数据集上进行了实验验证，并展示了对于问答任务的显著提升。该方法超越了现有的基准，并展示了在检索增强生成框架中结合对比学习和一致性学习范式的协同效应。

近期的相关研究包括：《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》、《Improving Language Understanding by Generative Pre-Training》等。