随着Transformer在序列长度方面的可扩展性限制，对于在训练期间可以并行处理的循环序列模型的兴趣重新燃起。因此，许多新颖的循环架构被提出，例如S4、Mamba和Aaren，它们实现了可比较的性能。在这项工作中，我们重新审视了十多年前的传统循环神经网络（RNNs）：LSTMs（1997）和GRUs（2014）。虽然这些模型由于需要通过时间进行反向传播（BPTT）而变慢，但我们表明，通过从它们的输入、遗忘和更新门中删除它们的隐藏状态依赖性，LSTMs和GRUs不再需要BPTT，并且可以在并行中高效地训练。在此基础上，我们引入了最小版本（minLSTMs和minGRUs），它们（1）使用比传统版本少得多的参数，（2）在训练期间完全可并行化（对于长度为512的序列，速度快了175倍）。最后，我们表明，这些十年前简化版本的RNNs与最近的序列模型的实证性能相匹配。

突然出现的现代机器学习现象，如双峰下降和良性过拟合，可能会让许多受过经典训练的统计学家感到不安——这些现象似乎与任何学习数据的入门课程所传达的统计直觉相违背。通常将早期未观察到这种现象的历史归因于今天对更复杂的机器学习方法、过度参数化、插值和/或更高的数据维度的依赖。在本文中，我们展示了为什么我们今天观察到与古典统计学教科书所教直觉相违背的行为的另一个原因，这个原因更容易理解，但很少明确讨论。特别是，许多直觉源于固定设计设置，在这种设置中，感兴趣的是样本内预测误差（在噪声结果的重新采样下），而现代机器学习则根据泛化误差来评估其预测，即在随机设计中的样本外预测误差。在这里，我们强调，从固定到随机设计的这个简单转变对于与偏差-方差权衡有关的教科书直觉有（也许令人惊讶的）深远影响，并评论了在固定与随机设计中观察双峰下降和良性过拟合的（不）可能性。

检索增强生成（Retrieval Augmented Generation，RAG）是一种技术，用于增强大型语言模型（Large Language Models，LLMs）的上下文相关、时间关键或特定领域信息，而不改变底层模型参数。然而，构建能够有效合成大量和多样化文档信息的RAG系统仍然是一个重大挑战。我们引入了一种新的数据中心RAG工作流程，将传统的检索-读取系统转化为更先进的准备-重写-检索-读取框架，以实现更高的领域专家级别的知识库理解。我们的方法依赖于为每个文档生成元数据和合成的问题和答案（QA），以及引入元知识摘要（Meta Knowledge Summary，MK Summary）的新概念，用于基于元数据的文档群集。所提出的创新使得可以实现个性化用户查询增强和全面的知识库信息检索。我们的研究做出了两个重要贡献：使用LLMs作为评估器并采用新的比较性能指标，我们证明（1）使用合成问题匹配的增强查询明显优于依赖于文档分块的传统RAG管道（p < 0.01），以及（2）元知识增强查询进一步显著提高了检索精度和召回率，以及最终答案的广度、深度、相关性和特异性。我们的方法具有成本效益，使用Claude 3 Haiku每2000篇研究论文的成本不到20美元，并且可以通过任何语言或嵌入模型的微调进一步增强端到端RAG管道的性能。

我们提出了一种称为“精确体积椭球渲染（EVER）”的方法，用于实时可微的仅发射体积渲染。与最近的基于光栅化的3D高斯喷洒（3DGS）方法不同，我们基于基元的表示允许进行精确的体积渲染，而不是将3D高斯广告牌进行alpha合成。因此，与3DGS不同，我们的公式不会出现突兀的伪影和视角依赖的密度问题，但仍可在NVIDIA RTX4090上以720p的分辨率实现约30 FPS的帧速率。由于我们的方法建立在光线追踪之上，因此它能够实现模糊和相机畸变（例如来自鱼眼摄像机）等效果，这些效果在光栅化中难以实现。我们展示了我们的方法比3DGS和关于视角一致渲染的后续工作更准确，具有更少的混合问题，特别是在Zip-NeRF数据集中具有挑战性的大规模场景中，它实现了实时技术中最清晰的结果。

文本到图像生成的实际应用已经从简单的单体模型发展到结合多个专业组件的复杂工作流程。虽然基于工作流程的方法可以提高图像质量，但是制定有效的工作流程需要相当的专业知识，因为有大量可用的组件，它们之间的相互依赖性复杂，并且它们依赖于生成提示。在这里，我们介绍了新颖的任务，即提示自适应工作流程生成，其目标是自动为每个用户提示量身定制工作流程。我们提出了两种基于LLM的方法来解决这个任务：一种是基于调整的方法，它从用户偏好数据中学习，另一种是无需训练的方法，它使用LLM来选择现有的工作流程。这两种方法都比单体模型或通用的提示独立工作流程具有更好的图像质量。我们的工作表明，基于提示的流预测为改善文本到图像生成质量提供了一条新的途径，这是补充该领域现有研究方向的。

大型语言模型（LLMs）结合外部数据已经展示出在完成实际任务方面的卓越能力。将外部数据集成到LLMs中的技术，如检索增强生成（RAG）和微调，正在受到越来越多的关注和广泛应用。然而，在各个专业领域有效部署数据增强的LLMs面临着重大挑战。这些挑战涵盖了广泛的问题，从检索相关数据和准确解释用户意图到充分利用LLMs的推理能力来完成复杂任务。我们认为，对于数据增强的LLMs应用，没有一种适用于所有情况的解决方案。在实践中，表现不佳通常是由于未能正确识别任务的核心焦点或任务本质上需要混合多种能力，必须将其分解以获得更好的解决方案。在本调查中，我们提出了一种RAG任务分类方法，根据所需的外部数据类型和任务的主要焦点，将用户查询分为四个级别：显式事实查询、隐式事实查询、可解释的理由查询和隐藏的理由查询。我们定义了这些查询级别，提供相关数据集，并总结了解决这些挑战的关键挑战和最有效的技术。最后，我们讨论了将外部数据集成到LLMs中的三种主要形式：上下文、小模型和微调，突出它们各自的优点、局限性和适合解决的问题类型。这项工作旨在帮助读者彻底理解和分解构建LLM应用程序的数据要求和关键瓶颈，提供解决不同挑战的解决方案，并作为指南系统地开发这些应用程序。

分子动力学（MD）是研究微观现象的强大技术，但其计算成本使得人们对基于深度学习的替代模型产生了极大的兴趣。我们引入了分子轨迹的生成建模作为一种范例，从数据中学习MD的灵活多任务代理模型。通过在轨迹的适当选择的帧上进行条件设定，我们展示了这种生成模型可以适应各种任务，如正向模拟、转换路径采样和轨迹上采样。通过交替地对分子系统的一部分进行条件设定和对其余部分进行修复，我们还展示了动力学条件下分子设计的第一步。我们通过四肽模拟验证了所有这些功能，并展示了我们的模型可以产生合理的蛋白单体集合。总之，我们的工作说明了生成建模如何从MD数据中释放出价值，用于各种下游任务，这些任务即使使用现有方法或MD本身也不容易解决。代码可在https://github.com/bjing2016/mdgen上获得。

在《自回归的余烬》（McCoy等人，2023）中，我们展示了几个大型语言模型（LLM）存在一些重要的限制，这些限制可以归因于它们在下一个单词预测中的起源。在这里，我们调查了OpenAI的o1系统是否仍然存在这些问题，该系统与以前的LLM不同之处在于它是为推理而优化的。我们发现，在许多情况下，o1在许多情况下显着优于以前的LLM，特别是在常见任务的罕见变体（例如，从列表中每个单词的第二个字母形成缩写，而不是第一个字母）上有特别大的改进。尽管有这些数量上的改进，o1仍然显示出与以前系统相同的定性趋势。具体而言，o1-像以前的LLM一样-对示例和任务的概率敏感，在高概率设置中表现更好，需要较少的“思考代币”，而在低概率设置中表现更差。这些结果表明，为推理优化语言模型可以缓解但可能无法完全克服语言模型的概率敏感性。

我们从自然选择、自组织、具身有机体作为起点，解决了意识这个难题。我们提供了一种数学形式化描述，说明生物系统如何自组织地按价值和特定需求层次化地解释未标记的感官信息。这种解释意味着行为策略，只有通过信息处理的定性方面才能彼此区分。选择压力有利于能够干预世界以实现体内平衡和繁殖目标的系统。质量是这种系统中出现的一种属性，将原因与影响联系起来，激励现实世界的干预。这产生了一系列的定性分类器（内感和外感），激发特定的行动，并确定优先级和偏好。基于访问和现象意识之间的开创性区别，我们在这里的激进主张是，现象意识没有访问意识是很常见的，但反过来是不可信的。说得刺激一些：大自然不喜欢僵尸。我们形式化地描述了自组织的多层架构，从岩石到爱因斯坦，说明了我们的论点如何适用于现实世界。我们认为，在没有能够层次化地建模自我、世界/他人和他人建模的自我之前，人类水平的访问意识是不可能的。因此，现象意识是人类功能所必需的。我们的提议奠定了意识的形式科学基础，与自然选择密切相关，而不是抽象思维，更接近于人类的事实而非僵尸小说。

红队测试评估了大型语言模型（LLMs）如何生成违反安全训练期间设定的规范、政策和规则的内容。然而，文献中大多数现有的自动化方法并不代表人类与AI模型交互的方式。普通的AI模型用户可能没有对抗机器学习方法的高级知识或访问模型内部的权限，他们也不会花费大量时间来制作一个高效的对抗提示。相反，他们很可能利用常见的在线共享技术，利用LLMs的多回合对话特性。虽然手动测试可以解决这个问题，但是这是一种低效且通常昂贵的过程。为了解决这些限制，我们引入了生成式攻击代理测试器（GOAT），这是一个自动代理红队系统，可以模拟简单的对抗性对话，并利用多种对抗提示技术来识别LLMs中的漏洞。我们通过以一种鼓励通过可用方法、当前目标模型的响应和下一步来推理的方式来提示通用模型，从而实例化GOAT的7个红队攻击。我们的方法旨在具有可扩展性和高效性，使人类测试人员可以专注于探索新的风险领域，而自动化则覆盖已知风险领域的扩展对抗压力测试。我们介绍了GOAT的设计和评估，证明了它在识别最先进的LLMs中的漏洞方面的有效性，在JailbreakBench数据集上对Llama 3.1的ASR@10为97％，对GPT-4为88％。