像 GPT-4 这样的大型语言模型已经在广泛的基于语言的任务中取得了显著的熟练度，其中一些任务传统上与人类智能的标志相关。这引发了关于我们能否有意义地归因于语言模型任何语言或认知能力的争议。这些问题有深刻的哲学根源，回响着有关人工神经网络作为认知模型的长期争论。本文是两篇伴随论文的第一部分，既是哲学家关于语言模型的入门指南，又是对它们在认知科学、人工智能和语言学经典争论中意义的主观调查。我们涵盖了组合性、语言习得、语义能力、基础、世界模型和文化知识传播等主题。我们认为，语言模型的成功挑战了人工神经网络的几个长期持有的假设。然而，我们也强调需要进一步的实证研究来更好地理解它们的内部机制。这为伴随论文（第二部分）奠定了基础，后者将转向探索探究语言模型内部运作的新的实证方法和它们最新发展所引发的新哲学问题。

在快速发展的人工智能领域中，如GPT-3和GPT-4等大型语言模型正在改变金融、医疗和法律等领域的格局：这些领域以专业知识为基础，数据获取具有挑战性，风险高，法规合规性严格。本文详细探讨了LLMs在这些高风险领域内的方法、应用、挑战和前瞻机遇。我们强调LLMs在提高医疗诊断和治疗方法、创新金融分析和完善法律解释和合规策略方面的关键作用。此外，我们批判性地审视了LLMs在这些领域应用的伦理问题，指出现有的伦理关切和需要尊重法规规范的透明、公正、强大的AI系统。通过对当前文献和实际应用的全面回顾，我们展示了LLMs的变革性影响，并概述了跨学科合作、方法论进步和伦理警觉的必要性。通过这个视角，我们旨在引发对话，激发未来致力于最大化LLMs效益并减轻风险的研究。为了促进未来在这些关键社会领域内的LLMs研究，我们还推出了一个阅读列表，跟踪该主题下的最新进展，该列表将不断更新：\url{https://github.com/czyssrs/LLM_X_papers}。

本文研究表明，像GPT和Llama这样的大型语言模型是通过下一个令牌的预测损失进行训练的。我们建议训练语言模型同时预测多个未来令牌，这样可以提高样本效率。具体而言，在训练语料库的每个位置，我们要求模型使用n个独立的输出头预测接下来的n个令牌，这些输出头在共享的模型主干上运行。将多令牌预测视为辅助训练任务，我们测量了在没有训练时间开销的情况下提高了下游能力。该方法对于更大的模型大小尤其有用，并且在训练多个时期时仍然具有吸引力。在生成基准测试中，收益尤其明显，例如编码，我们的模型始终比强基线高出几个百分点。我们的13B参数模型在HumanEval上解决的问题比可比的下一个令牌模型多12％，在MBPP上多17％。在小型算法任务的实验中，多令牌预测对于归纳头和算法推理能力的发展是有利的。作为额外的好处，使用4令牌预测训练的模型在推理时速度提高了多达3倍，即使使用大批量大小也是如此。

PLAID是ColBERT后交互双编码器的高效实现，利用预训练语言模型进行排名，一直以来在单语、跨语言和多语言检索中保持着最先进的性能。与ColBERT不同，PLAID通过将术语分配到集群中，并将这些术语表示为集群中心加上压缩的残差向量来进行表示。虽然PLAID在批处理实验中很有效，但在流式设置中，由于新标记的表示可能由于早期用于选择集群中心的标记而被错误地建模，因此其性能会降低。PLAID SHIRTTT是一种基于分层分片的多阶段增量索引的流式索引方法，解决了这个问题。在ClueWeb09和多语言NeuCLIR集合上的实验表明，这种方法在ColBERT架构索引的迄今最大集合和多语言设置中都非常有效。

大型语言模型（LLM）展示了卓越的语言能力，推动了将它们整合到各种领域的应用中。一个重要的应用领域是针对私人企业文件的问答，主要考虑数据安全，需要能够部署在本地、计算资源有限以及需要一个能够正确响应查询的强大应用。检索增强生成（RAG）已成为构建基于LLM的应用程序的最突出框架。虽然构建RAG相对简单，但使其稳健和可靠的应用程序需要广泛的定制和相对深入的应用领域知识。我们分享了构建和部署用于私人组织文件问答的LLM应用程序的经验。我们的应用程序将RAG与微调的开源LLM相结合。此外，我们的系统，称为Tree-RAG（T-RAG），使用树结构来表示组织内的实体层次结构。这用于生成文本描述以增强响应与组织层次结构内实体相关的用户查询的上下文。我们的评估表明，这种组合比简单的RAG或微调实现表现更好。最后，我们分享了一些基于我们在构建LLM应用程序的实际使用经验得出的教训。

最近大型语言模型（LLMs）的进展大大增强了它们的数学推理能力。然而，这些模型仍然难以处理需要多次推理步骤的复杂问题，往往导致逻辑或数字错误。虽然数值错误可以通过集成代码解释器来大大解决，但识别中间步骤中的逻辑错误更具挑战性。此外，手动注释这些步骤进行训练不仅昂贵，而且需要专业知识。在这项研究中，我们介绍了一种创新方法，通过利用蒙特卡罗树搜索（MCTS）框架自动生成过程监督和评估信号，从而消除了手动注释的需要。实际上，当LLM预训练良好时，只需要数学问题及其最终答案来生成我们的训练数据，而不需要解决方案。我们继续训练一个步骤级值模型，旨在提高LLM在数学领域的推理过程。我们的实验表明，使用LLMs增强的自动生成解决方案的MCTS显著提高了模型处理复杂数学推理任务的能力。

这篇文章讨论了多语言信息检索（MLIR）中的一个问题，即针对一个使用与任何一种语言不同的语言表达的查询，如何对多种语言的文档进行排名。最近的研究发现，将每种语言的单个文档排名列表相结合或使用多语言预训练语言模型等方法会偏好一种语言而不是其他语言，从而导致对不同语言的文档存在系统性不公平对待。因此，本文提出了一种语言公平度量标准，通过使用Kruskal-Wallis检验进行统计等价性测试来评估不同语言的文档是否被公平地排名。与大多数先前的群体公平度量标准不同，我们不认为任何语言是一个未受保护的群体。因此，我们提出的度量标准，即PEER（等价排名概率），是专门设计用于捕捉MLIR系统的语言公平度量标准。我们在人工排名列表上展示了PEER的行为。我们还在两个公开的基准测试上评估了真实的MLIR系统，并展示了PEER分数如何与MLIR公平性的先前分析结果相一致。我们的实现与ir-measures兼容，并可在http://github.com/hltcoe/peer_measure上获得。

大型语言模型(LLMs)展示了深刻的语言理解和生成能力，促进了广泛的应用。然而，目前缺乏详细的、开源的方法论，以最小的试错成本和计算资源高效地扩展LLMs超过500亿参数。在本报告中，我们介绍了Tele-FLM（又名FLM-2），这是一个52B的开源多语言大型语言模型，具有稳定、高效的预训练范式和增强的事实判断能力。Tele-FLM展示了优越的多语言语言建模能力，通过文本语料库的BPB进行测量。此外，在英语和中文基础模型评估中，它与涉及更大的预训练FLOPs的强大开源模型（如Llama2-70B和DeepSeek-67B）相当。除了模型权重，我们还分享了核心设计、工程实践和培训细节，我们希望这些能够惠及学术和工业界。

缩放定律原则表明损失与模型大小、数据集大小以及训练期间利用的计算资源等变量之间存在幂律相关性。这些原则在优化模型预训练的各个方面中起着至关重要的作用，最终有助于像GPT-4、Llama和Gemini这样的大型语言模型的成功。然而，OpenAI的原始缩放定律论文没有披露导出精确缩放定律公式所需的完整细节，他们的结论仅基于包含最多15亿个参数的模型。尽管一些随后的研究试图揭示这些细节并扩展到更大的模型，但它们通常忽略了重要因素（如学习率、上下文长度和批量大小）的训练依赖性，导致它们无法建立可靠的公式来预测测试损失轨迹。在本技术报告中，我们确认，在将模型大小扩展到330亿时，原始OpenAI论文中提出的缩放定律公式仍然有效，但这些公式中的常数系数随实验设置而变化很大。我们仔细确定了有影响的因素，并提供透明的、逐步的指导，通过仅在具有1M~60M参数的模型上进行训练来估计缩放定律公式中的所有常数项。使用这些估计的公式，我们展示了在训练之前准确预测具有330B参数的模型的各种属性的能力，包括（1）最小可能的测试损失；（2）实现特定损失所需的最小训练步骤和处理的标记数；（3）在任何损失值下具有最佳时间/计算权衡的关键批量大小；以及（4）任意批量大小的完整测试损失轨迹。

近年来，大型语言模型在自然语言处理领域引起了革命性变革，主要体现在以英语为中心的领域中取得了令人瞩目的进展。这些进展树立了全球标杆，激发了人们开发能够以惊人的准确性理解和生成阿拉伯语的阿拉伯语言模型的重大努力。尽管取得了这些进展，但一个关键挑战仍然存在：阿拉伯语言模型的潜在偏见，主要归因于它们依赖于包含已经被翻译成阿拉伯语的英文数据集。这种依赖不仅会损害生成内容的真实性，还反映了一个更广泛的问题——阿拉伯语言数据的原始质量稀缺。本研究旨在解决阿拉伯世界的数据稀缺问题，并鼓励开发真正符合该地区语言和细微差别的阿拉伯语言模型。我们进行了大规模的数据挖掘项目，从Common Crawl WET文件中提取了大量的阿拉伯语内容。提取的数据经过严格的清理和去重处理，使用创新技术确保数据集的完整性和独特性。结果是1010亿个阿拉伯语单词数据集，是迄今为止最大的阿拉伯语数据集，可以显著促进真正的阿拉伯语言模型的开发。本研究不仅突出了创造语言和文化准确的阿拉伯语言模型的潜力，还为未来增强阿拉伯语言模型的真实性的研究设立了先例。