The Matrix: A Bayesian learning model for LLMs

本文介绍了一种贝叶斯学习模型，用于理解大型语言模型（LLMs）的行为。我们探索了基于预测下一个标记的LLMs的优化指标，并开发了一个基于这个原则的新模型。我们的方法涉及构建一个理想的生成文本模型，该模型由具有先验的多项式转移概率矩阵表示，并且我们研究了LLMs如何逼近这个矩阵。我们讨论了嵌入和多项式分布之间的映射的连续性，并提出了狄利克雷逼近定理来逼近任何先验。此外，我们演示了LLMs的文本生成如何与贝叶斯学习原理相一致，并深入探讨了在上下文学习中的影响，特别是解释为什么在更大的模型中，提示被视为要更新的样本时，上下文学习会出现。我们的研究结果表明，LLMs的行为与贝叶斯学习一致，为它们的功能和潜在应用提供了新的见解。

本文旨在通过引入贝叶斯学习模型来理解大型语言模型（LLMs）的行为。研究LLMs的优化度量，即基于预测下一个标记的度量，并开发了一个基于这个原则的新模型。

本文的关键思路是构建一个理想的生成文本模型，该模型由具有先验的多项式转移概率矩阵表示，并探讨LLMs如何逼近这个矩阵。文中还介绍了嵌入和多项式分布之间的映射连续性，并提出了狄利克雷近似定理来近似任何先验。此外，本文还展示了LLMs的文本生成如何符合贝叶斯学习原理，并深入探讨了在上下文学习方面的应用。

本文的亮点包括：通过构建一个理想的生成文本模型来探索LLMs的行为，提出了狄利克雷近似定理来近似任何先验，深入探讨了LLMs的文本生成如何符合贝叶斯学习原理，说明了为什么在大型模型中会出现上下文学习的现象。实验方面，使用了多个数据集，并提供了开源代码。该研究的价值在于提供了LLMs行为的新视角和潜在应用。

在这个领域的相关研究包括：《GPT-3: Language Models are Few-Shot Learners》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。