Large Language Models as Markov Chains

大型语言模型 (LLMs) 在自然语言处理任务以及其他领域都表现出了非常高的效率，但是对于它们卓越性能的理论分析仍然很困难。本文通过将具有大小为 $T$ 的词汇表和大小为 $K$ 的上下文窗口的通用自回归语言模型与定义在大小为 $\mathcal{O}(T^K)$ 的有限状态空间上的马尔可夫链进行等价处理，尝试解决这一挑战。我们得出了几个令人惊讶的发现，这些发现与马尔可夫链的平稳分布捕获 LLMs 的推理能力、它们收敛速度以及温度对后者的影响有关。我们还证明了预训练和上下文泛化的界限，并展示了所绘制的等价性如何丰富这些界限的解释。最后，我们通过对几个最近的 LLM 进行实验来说明我们的理论保证如何捕捉到实际观察到的行为。

本文试图解释大型语言模型（LLMs）的卓越表现的理论根源是什么，以及它们与马尔可夫链的关系。同时，本文还试图证明预训练和上下文泛化的界限。

本文提出了一个通用的自回归语言模型与马尔可夫链之间的等价性，进而推导出了关于LLMs的推理能力、收敛速度以及温度对其影响的一些令人惊讶的发现。同时，本文还利用这种等价性证明了预训练和上下文泛化的界限，并丰富了它们的解释。

本文的亮点包括：1. 提出了通用的自回归语言模型与马尔可夫链之间的等价性；2. 推导出了关于LLMs的推理能力、收敛速度以及温度对其影响的一些令人惊讶的发现；3. 证明了预训练和上下文泛化的界限，并丰富了它们的解释；4. 通过实验验证了理论保证，并且在几个最近的LLMs上进行了实验。

最近在这个领域中，还有一些相关的研究，如《Improving Language Understanding by Generative Pre-Training》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。