AI+NLP博士论文 | UC Berkeley 2026 | 减轻训练后效应对语言模型生成多样性的影响 135页

大型语言模型（Large language models, LLM）在生成连贯、高质量的答案方面已经取得了显著的成就。然而，它们在生成多样化（diverse）的输出方面往往存在困难，尤其是在存在多个同样合理的答案时。这种局限性在对抗测试、搜索和合成数据生成等领域尤为关键，因为在这些领域，生成独特且有效的答案至关重要。本文首先探讨了解决语言模型多样性问题的迫切性。随后，我将介绍 SimpleStrat，这是一种轻量级方法，它利用模型自身自动对解空间进行分层。通过执行分层采样（stratified sampling），我们可以在不牺牲质量的前提下提高多样性和覆盖率。我还将描述如何使用 CoverageQA 来衡量重采样多样性，并讨论这些思想如何扩展到创造性和开放式任务。为了将这些思想扩展到权重空间，我将讨论 Stylus，它通过利用适配器合并来生成更高质量的图像，同时通过随机化适配器子集进行合并来获得有意义的多样性，从而在质量和多样性之间取得平衡。论文最后将探讨如何超越多样性，关注创造力，以及在运用LLM发现新颖创意作品方面所面临的挑战。任何人都可以评论杰作，但创作杰作的艺术家却永垂不朽。