From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

大型语言模型（LLMs）通常会表现出不良行为，例如幻觉和序列重复。我们建议将这些行为视为模型在不确定性下表现出的后备选择，并研究它们之间的联系。我们将后备行为分类为序列重复、退化文本和幻觉，并在来自同一家族的模型中进行了广泛的分析，这些模型的预训练标记数量、参数计数或包括遵循指令的训练不同。我们的实验揭示了一个明确而一致的后备行为排序，跨越所有这些轴：LLM越先进（即训练标记更多、参数更多或经过指令调整），其后备行为从序列重复转向退化文本，然后转向幻觉。此外，即使对于表现最佳的模型，同一代中也观察到相同的排序；随着不确定性的增加，模型从生成幻觉转向产生退化文本，然后是序列重复。最后，我们证明了，虽然常见的解码技术（例如随机抽样）可能会缓解一些不良行为，例如序列重复，但它们会增加更难以检测的幻觉。

研究Large Language Models（LLMs）中出现的不良行为（如幻觉和序列重复）之间的联系和分类，探讨它们与模型不确定性之间的关系。

随着LLMs的进阶，出现的不良行为会从序列重复转变为退化文本，最后变成幻觉。

实验发现LLMs的不良行为有一定的规律性，随着模型进阶和不确定性的增加，不良行为的种类会发生转变。同时，常见的解码技术如随机抽样虽然可以减轻一些不良行为，但会增加难以检测的幻觉。

最近的相关研究包括《GPT-3的缺陷：困境、风险和机会》和《Large Scale Language Modeling: Converging on 40 Years of Recurrent Networks》等。