Entropy-Based Decoding for Retrieval-Augmented Large Language Models

本文介绍了一种新的解码方法，无需进行训练，通过熵的考虑减轻检索增强的大型语言模型（LLMs）中存在的分心问题，从而提高生成响应的实际准确性。该方法利用基于熵的文档并行集合解码来优先考虑检索文档中的低熵分布，从而增强上下文相关信息的提取。此外，它还包括对比解码机制，将从模型内部知识中得出的高熵分布与获得的低熵集合分布进行对比，以确保更加强调可靠的外部信息。在开放领域问答数据集上进行的大量实验证明了我们方法的优越性。

论文旨在解决检索增强的大型语言模型（LLMs）在生成响应时受到外部和内部知识源噪声干扰的问题。

论文提出了一种基于熵考虑的、无需训练的解码方法，通过使用熵-based document-parallel ensemble decoding来优先考虑来自检索文档的低熵分布，从而增强上下文相关信息的提取，并结合对比解码机制来确保更多地强调可靠的外部信息。

论文的实验结果表明，该方法在开放领域问答数据集上表现优越。此外，该论文的方法无需训练，使用了熵-based document-parallel ensemble decoding，增强了对可靠外部信息的提取。

近期的相关研究包括《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《Improving Language Understanding by Generative Pre-Training》。