REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy

本文提出了一种解码方法——REAL采样，旨在解决大型语言模型（LLMs）在确保事实性和保持多样性之间的折衷问题。例如，在核心采样中使用更高的p阈值可以增加多样性，但会降低事实性，反之亦然。REAL采样通过预测自适应的p阈值来提高事实性和多样性，进而改善了核心采样的缺陷。具体来说，REAL采样预测LLM的幻觉步进概率，并在LLM可能产生幻觉时降低p阈值。否则，REAL采样会增加p阈值以增加多样性。为了在没有监督的情况下预测步进幻觉概率，我们构建了一个基于令牌的幻觉预测（THF）模型，通过从不同大小的LLMs的一系列下一个令牌熵中外推下一个令牌的熵来预测下一个令牌的渐近熵（即固有不确定性）。如果LLM的熵高于渐近熵（即LLM比应该更不确定），THF模型将预测高的幻觉危害，从而导致REAL采样中的较低p阈值。在FactualityPrompts基准测试中，我们证明了基于70M THF模型的REAL采样可以同时显着提高7B LLM的事实性和多样性，通过检索性指标和人类评价来判断。与对比解码相结合后，REAL采样优于9种采样方法，并生成的文本比贪心采样更具事实性，比p=0.5的核心采样更具多样性。此外，预测的渐近熵也是幻觉检测任务的有用无监督信号。

提高大型语言模型的生成多样性和准确性之间的平衡问题。

提出了一种名为REAL（Residual Entropy from Asymptotic Line）的解码方法，通过预测自适应的p阈值来实现比核心抽样更好的准确性和多样性。

实验结果表明，REAL抽样可以显著提高大型语言模型的生成多样性和准确性，同时也是一种有用的无监督信号用于幻觉检测任务。

近期相关研究包括：Contrastive Decoding、Diverse Beam Search和Top-k Sampling等。