开放式语言模型的可重现性和透明度对于推进开放研究、确保结果的可信度以及进行数据和模型偏差以及潜在风险的调查是至关重要的。为此，我们发布了OpenELM，这是一个最先进的开放式语言模型。OpenELM使用逐层缩放策略，在变压器模型的每一层中高效地分配参数，从而提高准确性。例如，对于大约十亿个参数的参数预算，OpenELM的准确性比OLMo提高了2.36％，同时需要2倍的少的预训练标记。 与仅提供模型权重和推理代码，并在私有数据集上进行预训练的先前做法不同，我们的发布包括在公开可用数据集上训练和评估语言模型的完整框架，包括训练日志、多个检查点和预训练配置。我们还发布了将模型转换为MLX库以进行推理和在Apple设备上进行微调的代码。这个全面的发布旨在赋予和加强开放研究社区，为未来的开放研究努力铺平道路。 我们的源代码以及预训练模型权重和训练配方可在\url{https://github.com/apple/corenet}上找到。此外，\model模型可以在HuggingFace上找到：\url{https://huggingface.co/apple/OpenELM}。

这项工作介绍了一种有效的方法，可以使用有限的内存和计算能力将基于Transformer的大型语言模型（LLM）扩展到无限长的输入。我们提出的方法的关键组成部分是一种新的注意力技术，称为Infini-attention。Infini-attention将可压缩内存结合到基本的注意力机制中，并在单个Transformer块中构建了掩码本地注意力和长期线性注意力机制。我们在长上下文语言建模基准测试、1M序列长度的密码上下文块检索和500K长度的书籍摘要任务中，使用1B和8B的LLM展示了我们方法的有效性。我们的方法引入了最小的有限内存参数，并为LLM提供了快速的流式推理能力。

随着深度神经网络在高风险领域中更加常见，它们的可解释性不足使得不确定性量化具有挑战性。我们研究了展示符合预测集的效果——一种在无分布不确定性量化中生成有效置信区间的方法——以表达AI辅助决策中的不确定性。通过一项大型在线实验，我们比较了符合预测集与Top-$1$和Top-$k$预测显示在AI辅助图像标记中的效用。我们发现，对于准确性，预测集的效用随任务的难度而变化：对于简单的图像，它们的准确性与Top-$1$和Top-$k$显示相当或稍低，但对于标记分布外（OOD）图像，尤其是在集合大小较小时，预测集在协助人类标记方面表现出色。我们的结果在经验上确定了符合预测集的实际挑战，并提供了如何将其纳入实际决策中的启示。

本研究探讨了界面设计选择在塑造个体对共享信息显示屏上呈现的预测做出决策的过程中所起的作用。通过一个重复的拥堵博弈，我们引入了一种新颖的分阶段实验设计来研究设计特征，如预测不确定性和误差的可视化，对个体决策过程的影响。在这个游戏中，参与者扮演出租车司机的角色，并使用共享信息显示屏来决定下一次寻找乘客的地点。我们的实验设计赋予了代理人不同的思考深度，从而使一些代理人能够更加精明地预测其他人使用相同信息显示屏的决策。通过多次广泛的实验，我们确定了在优化个体决策和最大化系统集体社会福利之间的权衡。我们发现，显示特征的影响因代理人的战略复杂性而异。我们观察到，促进个人级别决策的设计选择可能会导致次优的系统结果，表现为潜在社会福利的实现下降。然而，这种社会福利的下降可以通过减少分布偏移来抵消，从而缩小预测和实现系统结果之间的差距，这可能增强信息显示屏事后的可靠性和信誉度。我们的研究结果为在战略环境中设计有效的预测界面开辟了新的研究问题。

Chain-of-Thought（CoT）已经成为广泛采用的提示方法，引发了大型语言模型（LLM）出色的推理能力。受到CoT的顺序思维结构的启发，已经开发了许多Chain-of-X（CoX）方法，以解决涉及LLM的不同领域和任务中的各种挑战。在本文中，我们提供了关于不同上下文中LLM的Chain-of-X方法的全面调查。具体而言，我们按节点的分类法，即CoX中的X和应用任务进行分类。我们还讨论了现有CoX方法的发现和影响，以及潜在的未来方向。我们的调查旨在为寻求将CoT的想法应用于更广泛场景的研究人员提供详细和最新的资源。

对比学习已经成为通过对齐图像和文本嵌入来学习有效视觉表示的变革性方法。然而，对比损失中图像和文本对之间的成对相似度计算存在计算挑战。本文提出了一种基于网络规模图像-文本数据的弱监督预训练视觉模型的新方法。所提出的方法将图像-文本数据的预训练重新框架为分类任务。因此，它消除了对比损失中成对相似度计算的需求，与网络规模数据上的对比学习相比，实现了显着的2.7倍训练速度加速。通过广泛的实验，涵盖了包括检测和分割在内的各种视觉任务，我们证明了所提出的方法保持了高质量的表示。我们的源代码以及预训练模型权重和训练配方可在\url{https://github.com/apple/corenet}上获得。

我们推出了Blink，这是一个针对多模式语言模型（LLMs）的新基准，专注于其他评估中没有的核心视觉感知能力。Blink的大部分任务都可以在人类“眨眼间”内解决（例如，相对深度估计、视觉对应、取证检测和多视角推理）。然而，我们发现这些需要感知能力的任务对于当前的多模式LLMs来说存在重大挑战，因为它们无法通过自然语言进行调节。Blink将14个经典的计算机视觉任务重新格式化为3,807个多项选择题，配对单个或多个图像和视觉提示。虽然人类平均获得95.70%的准确率，但对于现有的多模式LLMs来说，Blink令人惊讶地具有挑战性：即使是表现最好的GPT-4V和Gemini也只能获得51.26%和45.72%的准确率，仅比随机猜测高13.17%和7.63%，这表明这种感知能力在最近的多模式LLMs中尚未“出现”。我们的分析还强调，专业的CV模型可以更好地解决这些问题，为未来的改进提供了潜在的途径。我们相信Blink将激发社区帮助多模式LLMs赶上人类水平的视觉感知。

最近开发的大型语言模型（LLMs）在各种语言理解任务上表现出色。但是，它们真的能够在自然语言上“推理”吗？这个问题一直受到重视，许多推理技能，如常识、数字和定性推理，已经得到研究。然而，关于“逻辑推理”的关键技能仍未得到充分探索。现有的研究仅关注命题和一阶逻辑的一些推理规则（如假言推理和假言否定）。为了解决这个问题，我们全面评估了LLMs在涵盖命题、一阶和非单调逻辑的25种不同推理模式上的逻辑推理能力。为了进行系统评估，我们引入了LogicBench，这是一个自然语言问答数据集，专注于使用单个推理规则。我们使用思维链提示对多个LLMs进行了详细分析，如GPT-4、ChatGPT、Gemini、Llama-2和Mistral。实验结果表明，现有的LLMs在LogicBench上表现不佳，特别是在涉及复杂推理和否定的情况下。此外，它们有时会忽略推理所需的上下文信息，导致得出错误的结论。我们相信我们的工作和发现将有助于未来评估和增强LLMs的逻辑推理能力。数据和代码可在https://github.com/Mihir3009/LogicBench上获得。

传统扩散模型通常依赖于固定的前向过程，这隐含地定义了潜变量的复杂边缘分布。这经常会使得反向过程在学习生成轨迹时变得复杂，并导致扩散模型的推断成本很高。为了解决这些限制，我们引入了神经流扩散模型（NFDM），这是一个新颖的框架，通过支持超出固定线性高斯的更广泛的前向过程来增强扩散模型。我们还提出了一种新颖的参数化技术来学习前向过程。我们的框架提供了一个端到端、无需模拟的优化目标，有效地最小化负对数似然的变分上界。实验结果证明了NFDM的强大性能，表现为最先进的似然估计。此外，我们调查了NFDM学习具有特定特征的生成动态的能力，例如确定性直线轨迹。这次探索强调了NFDM的多功能性及其在广泛应用中的潜力。

随着大型语言模型（LLM）的出现，自动程序修复（APR）已经有了显著的发展。对于程序修复进行LLM微调是一项最近的研究领域，其中许多维度尚未被探索。现有的工作主要使用简单的代码表示来微调LLM，其在微调更大的LLM能力方面存在根本性的限制。为了解决这个问题，我们提出了一种新颖的程序修复方法RepairLLaMA，它结合了1）用于APR的代码表示和2）最先进的参数高效的LLM微调技术LoRA。这导致RepairLLaMA产生了一个高度有效的“程序修复适配器”，用于使用语言模型修复错误。我们的实验证明了两个概念的有效性。首先，使用专门针对程序修复的代码表示微调适配器使模型能够使用有意义的修复信号。其次，参数高效的微调有助于微调的收敛，并有助于修复适配器在修复超出微调数据分布的数据点方面的有效性。总体而言，RepairLLaMA正确修复了125个Defects4J v2和82个HumanEval-Java错误，优于所有基线。