Context-aware Decoding Reduces Hallucination in Query-focused Summarization

查询导向摘要（QFS）旨在提供一份可以满足给定查询信息需求的单个文档/多个文档摘要。它对于各种实际应用非常有用，例如抽象片段生成或最近的检索增强生成（RAG）。一个典型的QFS流程包括一个检索器（稀疏或密集检索）和一个生成器（通常是一个大型语言模型）。然而，应用大型语言模型（LLM）可能导致幻觉，特别是当证据与LLM的先前信念相矛盾时。近年来，越来越多的人们对开发新的解码方法以提高生成质量和减少幻觉产生感兴趣。在这项工作中，我们对最近提出的一种解码方法——上下文感知解码（CAD）进行了大规模的再现性研究。除了在新闻摘要数据集上复制CAD的实验外，我们还在QFS数据集上进行了实验，并对计算复杂度和超参数敏感性进行了更严格的分析。使用八种不同的语言模型进行的实验表明，就性能而言，CAD通过（1）减少事实错误/幻觉，同时（2）大多保留词汇模式的匹配，通过ROUGE分数进行衡量，但也以增加推理时间FLOPs和减少解码速度的代价来提高QFS质量。基于Huggingface库的代码实现已经可用https://github.com/zhichaoxu-shufe/context-aware-decoding-qfs。

本篇论文的问题是如何减少大型语言模型在查询焦点摘要中的幻觉错误，并提高生成质量。

论文提出了一种名为上下文感知解码（CAD）的解码方法，通过考虑上下文信息来减少幻觉错误。实验结果表明，该方法可以提高查询焦点摘要的质量，同时增加推理时间和降低解码速度。

论文通过大规模可重复性研究，验证了上下文感知解码（CAD）方法的有效性，并在新闻摘要数据集和查询焦点摘要数据集上进行了实验。实验结果表明，CAD可以减少幻觉错误，提高生成质量，同时保留词汇模式的匹配度。此外，该论文提供了基于Huggingface Library的代码实现。

在最近的相关研究中，也有一些关于减少大型语言模型幻觉错误的研究，如《Reducing Hallucination in Neural Machine Translation with Conditional Density Estimation》。