我们展示并研究了大型语言模型通过删除和交换相邻层所表现出的显著鲁棒性。我们发现，删除和交换操作在不进行微调的情况下仍能保留原模型72-95\%的预测准确性，而具有更多层的模型表现出更强的鲁棒性。基于逐层干预和进一步实验的结果，我们假设在八个不同模型中存在四个普遍的推理阶段：去标记化、特征工程、预测集成和残差锐化。第一阶段整合了局部信息，将原始标记表示提升到更高级别的上下文表示。接下来是任务和实体特定特征的迭代细化。然后，模型的后半部分开始了一个相变阶段，其中由于专门的模型组件，隐藏表示与词汇空间更加对齐。最后，最后一层通过消除添加噪声的过时特征来锐化下一个标记分布的预测。

播客通过独特的按需模式为庞大的听众群体提供了高度多样化的内容。然而，由于数据有限，对播客生态系统的大型计算分析受到了阻碍。为了填补这一空白，我们介绍了一个包含超过110万条播客文本的大规模数据集，这些文本几乎涵盖了2020年5月和6月通过公共RSS源可获取的所有英语播客。该数据不仅限于文本，还包括37万集节目的音频特征和发言者轮次，以及所有110万集节目的发言者角色推断和其他元数据。利用这些数据，我们还对这一生态系统的内容、结构和响应性进行了基础性研究。我们的数据和分析共同为继续对这一流行且有影响力的媒介进行计算研究打开了大门。

近年来，大型语言模型的能力和局限性已经被详细描绘出来，提供了一个既引人入胜又充满矛盾的画面。一方面，大型语言模型展示了解决各种问题的一般能力。另一方面，与人类相比，它们在推理方面表现出令人惊讶的不足，这让人对它们的泛化策略的稳健性产生了怀疑。由于设计大型语言模型时使用了海量数据，传统的泛化测量方法——训练集和测试集分离——已经无法适用。为了解决这一问题，我们通过研究大型语言模型所依赖的预训练数据，探讨它们在执行推理任务时采用的泛化策略。对于两个不同规模的模型（70亿参数和350亿参数）及其25亿预训练令牌，我们确定了哪些文档对三个简单的数学推理任务的模型输出有影响，并将这些数据与回答事实性问题时有影响力的文档进行对比。我们发现，虽然模型对每个事实性问题主要依赖不同的数据集，但在同一任务内的不同推理问题中，某个文档往往具有相似的影响，这表明存在程序性知识。此外，我们还发现，事实性问题的答案经常出现在最有影响力的文档中。然而，对于推理问题，答案通常不会出现在高度有影响力的文档中，中间推理步骤的答案也是如此。当我们定性地分析排名最高的推理问题文档时，我们确认这些有影响力的文档通常包含程序性知识，例如展示如何使用公式或代码来获得解决方案。我们的研究结果表明，模型使用的推理方法不像检索，而更像是一种可以从类似推理形式的文档中综合程序性知识的可泛化策略。

上下文化嵌入因上下文而异，即使是同一令牌，也会在嵌入空间中形成分布。为了分析这个分布，我们关注嵌入的平均值的范数和嵌入的方差。在这项研究中，我们首先证明了这些值遵循统计学中众所周知的方差公式，并提供了一种有效的顺序计算方法。然后，通过观察几个Transformer模型的中间层的嵌入，我们发现范数和方差之间存在很强的权衡关系：随着平均嵌入越来越接近原点，方差会增加。这种权衡可能受到Transformer模型中使用的层归一化机制的影响。此外，当将令牌嵌入集合视为簇时，我们表明整个嵌入集合的方差在理论上可以分解为簇内方差和簇间方差。我们实验发现，随着Transformer模型层数的增加，嵌入会远离原点，簇间方差相对减少，簇内方差相对增加。这些结果与现有关于不同层之间嵌入空间各向异性的研究结果一致。

我们评估了大型语言模型（LLMs）在回答多跳查询时隐式回忆和组合事实的能力，例如“斯嘉丽·约翰逊出生那年，夏季奥运会的举办国是”。评估这一能力的一个主要挑战是，LLMs可能通过在相同的训练序列中遇到头实体“斯嘉丽·约翰逊”和答案实体“美国”而发展出捷径，或者仅仅基于频率优先级来猜测答案。为了防止这些捷径，我们排除了预训练语料库中头实体和答案实体共同出现的测试查询。通过仔细选择关系和事实，并系统地移除模型可能猜测答案或利用部分匹配的情况，我们构建了一个评估数据集SOCRATES（无捷径的隐式推理）。我们观察到，LLMs在不利用捷径的情况下展示了有希望的隐式多跳推理能力，但仅限于某些类型的查询。对于需要隐式回忆国家作为中间答案的查询，最佳模型达到了80%的隐式组合能力，但对于回忆年份的查询，这一比例降至5%。与链式思维组合能力的比较突显了模型隐式推理和显式推理能力之间的显著差距。分析显示，在隐式组合能力较高的查询中，中间答案的隐式表示构建得更频繁，并且在预训练过程中出现了隐式多跳推理。

众所周知，思维链（Chain-of-Thought）能够显著提升大语言模型（LLMs）在复杂任务上的表现。然而，由于它也会导致推理速度变慢和计算成本增加，许多研究尝试使用隐式思维链（implicit CoT），这种方法不需要大语言模型显式地生成中间步骤。但它们的效果与典型的显式思维链方法之间仍存在差距，这让我们怀疑：隐式思维链是否真的等同于显式思维链？因此，在本研究中，我们通过实验来探讨这一问题。我们在模型执行隐式思维链时，从其隐藏状态中探查中间步骤的信息。结果令人惊讶地表明，大语言模型很少考虑中间步骤，这暗示它们可能只是依赖经验而非严格的逐步推理。此外，我们发现大语言模型的隐式推理能力是脆弱且不稳定的，这进一步证实了显式思维链在有效支持复杂任务中的必要性。

本研究聚焦于经独立成分分析（ICA）转换后的嵌入的可解释轴，并提出了余弦相似度的新解释，即作为轴上语义相似性之和。余弦相似度被广泛用于衡量两个嵌入之间的相似性，而基于角度和相关系数的解释很常见。为了研究这个问题，我们首先通过实验证明未归一化的嵌入含有基于范数的人工因素。然后，我们展示了归一化的ICA转换后的嵌入具有稀疏性，每个轴和所有嵌入之间都有少量大值，从而通过勾勒清晰的语义贡献增强了可解释性。最后，为了验证我们的解释，我们使用带有特定语义组件和不带特定语义组件的理想嵌入进行检索实验。

现有的大型语言模型（LLM）代理系统通常在每一步从一个固定且预定义的动作集中选择动作。虽然这种方法在封闭、范围狭窄的环境中是有效的，但我们认为，在将LLM代理部署到现实场景中时，它存在两个主要挑战：（1）从固定的动作集中选择显著限制了LLM代理的规划和执行能力；（2）这种方法需要大量的人力来列举并实现所有可能的动作，这在具有大量潜在动作的复杂环境中变得不切实际。在这项工作中，我们提出了一种LLM代理框架，该框架能够在线动态创建和组合动作。在这个框架中，代理通过在每一步生成并执行用通用编程语言编写的程序与环境交互。此外，生成的动作会随着时间积累以供将来重用。我们在GAIA基准上的广泛实验表明，该框架提供了显著更大的灵活性，并且优于先前的方法。值得注意的是，它允许LLM代理在预定义集不存在相关动作或现有动作因未预见的边缘情况而失败的情况下恢复。撰写本文时，我们在GAIA公开排行榜上位居榜首。我们的代码可以在[https://github.com/adobe-research/dynasaur](https://github.com/adobe-research/dynasaur)找到。

我们提出了一种方法，旨在通过受AlphaZero成功策略启发的迭代偏好学习过程，增强大型语言模型（LLM）的推理能力。我们的工作利用蒙特卡罗树搜索（MCTS）来迭代地收集偏好数据，利用其前瞻能力将实例级别的奖励分解为更细粒度的步骤级别信号。为了增强中间步骤的一致性，我们结合结果验证和逐步自我评估，不断更新新生成数据的质量评估。所提出的算法采用直接偏好优化（DPO）使用这些新生成的步骤级别偏好数据来更新LLM策略。理论分析揭示了使用基于策略采样的数据对于成功的自我改进至关重要。在各种算术和常识推理任务上进行了广泛评估，展示了与现有模型相比的显著性能提升。例如，我们的方法在GSM8K、MATH和SciQ上优于Mistral-7B监督微调（SFT）基线，分别将准确度提高到80.7%（+4.8%）、32.2%（+3.3%）和88.5%（+7.7%）。此外，我们的研究探讨了训练和推理计算的权衡，提供了有关如何有效地最大化性能增益的见解。

大型语言模型已经成为许多机器学习应用的关键组成部分。然而，训练LLM的标准方法需要大量紧密连接的加速器，设备在每次优化步骤中交换梯度和其他中间状态。虽然建立和维护一个承载许多加速器的单个计算集群很困难，但可能更容易找到几个承载较少设备的计算集群。在这项工作中，我们提出了一种分布式优化算法，分布式低通信（DiLoCo），它可以在设备连接较差的岛屿上训练语言模型。该方法是联合平均的变体，其中内部步骤的数量很大，内部优化器是AdamW，外部优化器是Nesterov动量。在广泛使用的C4数据集上，我们展示了8个工作人员的DiLoCo表现与完全同步优化相当，同时通信次数减少了500倍。DiLoCo对每个工作人员的数据分布具有很强的鲁棒性。它也对资源随时间变得不可用具有很强的鲁棒性，反之亦然，它可以在训练过程中无缝地利用变得可用的资源。