What Kinds of Tokens Benefit from Distant Text? An Analysis on Long Context Language Modeling

随着大型语言模型所能处理的上下文长度不断增加，这些模型展示出了利用远距离信息进行语言建模等任务的增强能力。这种能力与人类阅读和写作习惯形成了对比，人类通常不会记住和使用特别遥远的信息，除非是在预示未来的情况下。本文旨在探讨哪些单词在语言模型中受益于长上下文。通过分析随着上下文长度增加而单词概率的变化，我们发现内容词（如名词、形容词）和单词的初始标记受益最多。上下文中的频繁模式（N-gram）也对预测产生了显著影响。此外，模型的先验知识在影响预测方面起着至关重要的作用，特别是对于罕见的标记。我们还观察到，随着上下文长度的增加，语言模型变得更加自信，概率分布更加尖锐。这种过度自信可能导致远距离上下文信息的标记概率增加。我们希望我们的分析能够帮助社区更好地理解长文本语言建模，并为设计更可靠的长上下文模型做出贡献。

论文旨在探讨长文本语言模型中哪些单词受益于更长的上下文，并分析长上下文对模型预测的影响。

通过分析不同上下文长度下的单词概率变化，研究发现内容单词和单词的初始标记受益最大，上下文中的常见模式也会显著影响预测。此外，模型的先验知识对于影响预测尤为重要，特别是对于罕见单词。研究还发现，随着上下文长度的增加，语言模型变得更加自信，导致概率分布更加尖锐，这种过度自信可能导致单词概率增加。

研究使用了多个数据集进行实验，并分析了不同上下文长度下单词概率的变化，揭示了模型如何利用上下文信息进行预测。研究还发现，语言模型对于罕见单词的预测能力需要更长的上下文。最后，研究提出了一些方向，帮助设计更可靠的长上下文模型。

最近的相关研究包括《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。