长期以来，神经科学和人工智能领域都已知神经元之间的“绑定”会导致一种竞争性学习，其中表征在网络的更深层被压缩，以表示更抽象的概念。最近，人们还假设动态（时空）表征在神经科学和人工智能中也起着重要作用。基于这些观点，我们引入了人工库拉莫托振荡神经元（AKOrN）作为阈值单元的动态替代方案，它可以与任意连接设计结合使用，例如全连接、卷积或注意力机制。我们的广义库拉莫托更新通过同步动力学将神经元绑定在一起。我们展示了这一想法在广泛的任务中提供了性能改进，如无监督物体发现、对抗鲁棒性、校准不确定性量化和推理。我们认为，这些实证结果表明重新思考我们在神经表征最基本的神经元层面的假设的重要性，特别是动态表征的重要性。

在视觉领域扩大自回归模型的规模，并没有像在大型语言模型中那样证明是有益的。在这项工作中，我们在文本到图像生成的背景下研究了这一扩展问题，重点关注两个关键因素：模型是使用离散还是连续的标记，以及这些标记是通过类似BERT或GPT的Transformer架构以随机顺序还是固定栅格顺序生成的。我们的实证结果表明，虽然所有模型在验证损失方面都能有效扩展，但它们的评估性能——通过FID、GenEval评分和视觉质量来衡量——呈现出不同的趋势。基于连续标记的模型在视觉质量上显著优于使用离散标记的模型。此外，生成顺序和注意力机制对GenEval评分有显著影响：随机顺序模型的GenEval评分明显高于固定栅格顺序模型。受这些发现的启发，我们训练了一个名为Fluid的随机顺序自回归模型，该模型基于连续标记。Fluid 10.5B模型在MS-COCO 30K数据集上达到了零样本FID 6.16的新纪录，在GenEval基准测试中总体评分为0.69。我们希望我们的发现和结果能够鼓励未来进一步缩小视觉和语言模型之间扩展差距的努力。

我们展示了基于Transformer的语言模型的自回归解码可以实现通用计算，无需外部干预或修改模型权重。要建立这个结果，需要理解语言模型如何使用有限的上下文处理任意长的输入。为此，我们考虑了自回归解码的一种推广，其中，给定一个长输入，发射的标记被附加到序列的末尾，随着上下文窗口的推进而不断增加。我们首先展示了所得到的系统对应于经典的计算模型，即Lag系统，这个系统一直以来都被认为是计算通用的。通过利用新的证明，我们展示了一个通用图灵机可以被一个具有2027个产生规则的Lag系统模拟。然后，我们调查了一个现有的大型语言模型是否可以模拟这样一个通用的Lag系统的行为。我们通过展示可以为gemini-1.5-pro-001开发一个单一的系统提示，来回答肯定的答案，这个提示可以在确定性（贪婪）解码下驱动模型，正确地应用每一个2027个产生规则。我们得出结论，根据Church-Turing论题，通过扩展自回归（贪婪）解码提示的gemini-1.5-pro-001是一个通用计算机。

优化方法在现代机器学习中发挥着关键作用，推动了深度学习模型令人瞩目的实证成就。这些成功尤其引人注目，因为这些模型的损失景观具有复杂的非凸性质。然而，确保优化方法的收敛性需要对目标函数施加特定的结构条件，而这些条件在实际应用中很少得到满足。一个突出的例子是广为人知的 Polyak-Lojasiewicz (PL) 不等式，近年来它受到了相当多的关注。然而，验证这种假设对于深度神经网络而言，通常需要大量的、往往是不切实际的过度参数化。为了解决这一限制，我们提出了一类新的函数，可以在不需要大量过度参数化的情况下，刻画现代深度模型的损失景观，并且可以包含鞍点。至关重要的是，我们证明了基于这一假设，梯度优化器具有理论上的收敛保证。最后，我们通过广泛的理论分析和实证实验，验证了我们新提出的函数类的有效性，涵盖了多种深度学习模型。

最近引入的大规模语言模型（LLMs）已经通过实现场景推理和直观的人机交互彻底改变了机器人领域，这些应用涵盖了从操作、移动到自动驾驶汽车等多个方面。当被视为独立技术时，已知大规模语言模型容易受到越狱攻击的影响，即恶意用户通过绕过安全防护措施来诱使模型生成有害文本。为了评估在机器人中部署大规模语言模型的风险，本文介绍了RoboPAIR，这是首个旨在对由大规模语言模型控制的机器人进行越狱的算法。与现有的针对大规模语言模型聊天机器人的文本攻击不同，RoboPAIR能够诱使由大规模语言模型控制的机器人执行有害的物理动作，这一现象我们在三个场景中进行了实验验证：（i）白盒设置，攻击者可以完全访问NVIDIA Dolphins 自动驾驶大规模语言模型；（ii）灰盒设置，攻击者部分访问配备GPT-4o 规划器的Clearpath Robotics Jackal UGV 机器人；（iii）黑盒设置，攻击者仅能查询集成GPT-3.5 的Unitree Robotics Go2 机器狗。在每个场景中，通过对三种新的有害机器人动作数据集的测试，我们证明了RoboPAIR以及几种静态基线方法能够快速有效地找到越狱方法，通常能够实现100%的攻击成功率。我们的结果首次揭示，被越狱的大规模语言模型的风险远不止于文本生成，因为被越狱的机器人有可能在现实世界中造成物理损害。事实上，我们在Unitree Go2 上的结果代表了首次成功越狱商用机器人系统的案例。解决这一新兴漏洞对于确保大规模语言模型在机器人领域的安全部署至关重要。更多媒体资料可访问：https://robopair.org

负向提示的概念源自于像稳定扩散这样的条件生成模型，它允许用户指定在生成的图像中排除哪些内容，展示了显著的实用效果。尽管负向提示得到了广泛应用，但它们的内在机制仍然未被深入探究。本文提出了第一篇全面研究负向提示如何以及何时发挥作用的论文。我们的广泛实证分析确定了负向提示的两种主要行为：延迟效应和通过中和删除。负向提示的影响是在正向提示呈现相应内容之后观察到的。通过在潜在空间中相互抵消的方式，负向提示从生成的图像中删除概念。这些洞察力揭示了重要的潜在实际应用，例如，我们演示了负向提示如何通过简单的自适应算法，以最小的背景修改来促进对象修复。我们相信我们的研究结果将为社区提供有价值的见解，以充分利用负向提示的潜力。

当前的检索增强生成系统(RAG)需要连接和处理许多检索到的文档块来进行预填充，这需要大量计算，因此导致了显著的时间-第一个标记(TTFT)延迟。为了减少计算开销以及TTFT，我们引入了TurboRAG，这是一个新颖的RAG系统，通过重新设计当前RAG系统的推理范式，首先离线预计算和存储文档的键值(KV)缓存，然后直接检索保存的KV缓存进行预填充。因此，在推理过程中消除了在线计算KV缓存的需要。此外，我们提供了一些关于掩码矩阵和位置嵌入机制的见解，并微调了预训练语言模型，以保持TurboRAG的模型准确性。我们的方法适用于大多数现有的大型语言模型及其应用，无需修改模型和推理系统。在一系列RAG基准测试中的实验结果表明，TurboRAG将TTFT降低了多达9.4倍，与传统的RAG系统相比(平均降低了8.6倍)，但保持了与标准RAG系统相当的性能。

AI有潜力通过比其他计算方法或试错法更有效地探索化学空间来加速材料发现和设计，这对于从帮助减缓气候变化到推进下一代计算硬件等众多应用至关重要。虽然在材料数据、基准和模型的AI方面已经取得了实质性进展，但出现的一个障碍是缺乏公开可用的训练数据和开放的预训练模型。为了解决这个问题，我们提供了Open Materials 2024 (OMat24)大规模开放数据集的Meta FAIR版本和相应的预训练模型。OMat24包含超过1.1亿个密度泛函理论(DFT)计算，重点关注结构和组成的多样性。我们的EquiformerV2模型在Matbench Discovery排行榜上实现了最先进的性能，并能够预测基态稳定性和形成能量的F1分数高达0.9以上，精度为20 meV/原子。我们探讨了模型大小、辅助去噪目标和微调对OMat24、MPtraj和Alexandria等一系列数据集的性能影响。OMat24数据集和模型的开放发布使研究社区能够建立在我们的努力基础上，并推动AI辅助材料科学的进一步发展。

有一种信念认为，学会良好的压缩技巧将会带来智能。最近，语言建模被证明与压缩等效，这为大型语言模型（LLMs）的成功提供了令人信服的理由：更先进的语言模型的发展实际上是增强了压缩，从而促进了智能。尽管有这样吸引人的讨论，但目前缺乏关于压缩和智能之间相互作用的实证证据。在这项工作中，我们在LLMs的上下文中研究它们之间的关系，将LLMs视为数据压缩器。鉴于“智能”的抽象概念，我们采用平均下游基准分数作为替代指标，特别针对与知识和常识、编码和数学推理相关的智能。在12个基准测试中，我们的研究汇集了来自不同组织的30个公共LLMs。值得注意的是，我们发现LLMs的智能——反映在平均基准分数上——几乎与它们压缩外部文本语料库的能力呈线性相关。这些结果提供了具体的证据，支持优秀的压缩能力意味着更强的智能的信念。此外，我们的研究结果表明，作为从原始文本语料库中得出的无监督指标，压缩效率是一种可靠的评估指标，与模型能力呈线性关联。我们公开了我们的压缩数据集以及我们的数据收集管道，以便未来的研究人员能够正确评估压缩技术。

现在有充分的证据表明，大脑皮层结构中存在旅行波和其他结构化的时空循环神经动力学，但这些观察结果通常难以与拓扑有序的选择性和前馈感受野的概念相一致。我们提出了一种新的“时空”视角，用于神经计算，其中结构化的选择性和动态不是矛盾的，而是互补的。我们展示了时空动态可能是自然神经系统编码世界近似视觉、时间和抽象对称性的机制，从而实现了更好的泛化和长期工作记忆。