Min P Sampling: Balancing Creativity and Coherence at High Temperature

大型语言模型（LLMs）通过根据每个解码步骤中单词词汇表的概率分布依次采样下一个标记来生成长篇文本。当前流行的截断采样方法，如top-$p$采样，也称为核采样，在使用较高温度时往往难以平衡生成文本的连贯性和创造性。为了解决这个问题，我们提出了min-$p$，一种动态截断采样方法，它建立了一个最小的基础百分比阈值用于标记，该阈值根据顶部候选标记的概率进行缩放。通过对多个基准测试的实验，例如GPQA、GSM8K和AlpacaEval Creative Writing，我们证明了min-$p$即使在高温度下也可以提高生成文本的连贯性和质量，同时与top-$p$和其他采样方法相比，也可以促进更具创造性和多样性的输出。截至目前，min-$p$已被多个开源LLM实现采用，并已由开源LLM社区的成员进行了独立评估，进一步验证了其实用性和潜力。

论文提出一种名为min-p的动态截断采样方法，旨在解决当前流行的top-p采样方法在高温度下难以平衡生成文本的连贯性和创造性的问题。

min-p采样方法在每个解码步骤中根据候选词的概率分布动态调整最小基础百分比阈值，从而在高温度下提高生成文本的连贯性和质量，并促进更具创造性和多样性的输出。

论文通过在多个基准测试中进行实验，如GPQA、GSM8K和AlpacaEval Creative Writing等，证明了min-p采样方法在高温度下提高了生成文本的连贯性和质量，同时相比top-p和其他采样方法，更容易产生创造性和多样性的输出。min-p采样方法已经被多个开源LLM实现采用，并已经由开源LLM社区的成员进行了独立评估。

在这个领域中，还有一些相关的研究，如Nucleus Sampling: The Best of Both Sampling Worlds、Curriculum Learning for Natural Language Generation、The Curious Case of Neural Text Degeneration等。