扩展推理时的计算规模显著提升了语言模型的推理能力。然而，现有方法存在明显局限性：串行的链式思维方法生成过长的输出，导致延迟增加和上下文窗口耗尽；而并行方法如自一致性（self-consistency）则因协调不足，造成冗余计算和性能提升有限。为了解决这些问题，我们提出了自适应并行推理（Adaptive Parallel Reasoning, APR），这是一种新型推理框架，使语言模型能够端到端地协调串行和并行计算。APR 通过引入 spawn() 和 join() 操作实现了自适应多线程推理，从而推广了现有的推理方法。一个关键创新点是我们采用的端到端强化学习策略，该策略优化了主推理线程和子推理线程，从而在无需预定义推理结构的情况下提高任务成功率。在 Countdown 推理任务上的实验表明，APR 带来了显著的优势：(1) 在相同的上下文窗口内性能更高（4k 上下文时为 83.4% 对比 60.0%）；(2) 随着计算量增加，可扩展性更强（总 token 数为 20k 时为 80.1% 对比 66.6%）；(3) 在等效延迟下准确率更高（约 5,000ms 时为 75.2% 对比 57.3%）。APR 标志着向使语言模型通过自适应分配计算资源自主优化其推理过程迈出了重要一步。

深度神经网络通常被视为与其他模型类别不同，因为它们违背了传统的泛化概念。常见的异常泛化行为的例子包括良性过拟合、双下降现象以及过度参数化的成功。我们认为这些现象并非神经网络所独有，也不特别神秘。此外，这种泛化行为可以通过长期存在的泛化框架（如PAC-Bayes和可数假设界限）直观地理解，并严格表征。我们提出软归纳偏置作为解释这些现象的关键统一原则：与其限制假设空间以避免过拟合，不如采用灵活的假设空间，对与数据一致的更简单解决方案持有温和的偏好。这一原则可以在许多模型类别中编码，因此深度学习并不像看起来那样神秘或与众不同。然而，我们也强调了深度学习在其他方面相对独特的地方，例如其表示学习的能力、模式连通性等现象及其相对普遍性。

本文介绍了一种新颖的方法，利用大型语言模型（LLMs）和生成代理来增强时间序列预测。通过语言作为媒介，我们的方法将各种社会事件自适应地整合到预测模型中，将新闻内容与时间序列波动对齐，以获得更丰富的见解。具体而言，我们利用基于LLM的代理来迭代地过滤掉不相关的新闻，并采用类人的推理和反思来评估预测。这使得我们的模型能够分析复杂的事件，如意外事件和社会行为的变化，并不断改进新闻的选择逻辑和代理输出的鲁棒性。通过将选定的新闻与时间序列数据编译在一起，我们对LLaMa2预训练模型进行了微调。结果表明，在预测准确性方面取得了显著的改进，并暗示了通过有效利用非结构化的新闻数据，时间序列预测可能会出现潜在的范式转变。

潜在扩散模型（LDMs）在高质量图像生成领域占据主导地位，但将表征学习与生成建模相结合仍然是一个挑战。我们提出了一种全新的生成图像建模框架，通过利用扩散模型同时对低级图像潜变量（来自变分自编码器）和高级语义特征（来自预训练的自监督编码器，例如 DINO）进行联合建模，从而无缝弥合这一差距。我们的潜变量-语义扩散方法能够从纯噪声中生成连贯的图像-特征对，显著提升了生成质量和训练效率，同时仅需对标准扩散变换器架构进行少量修改。通过消除复杂的知识蒸馏目标，我们统一的设计简化了训练过程，并解锁了一种强大的新推理策略：表征引导（Representation Guidance），该策略利用学习到的语义信息来指导和优化图像生成。在条件生成和无条件生成两种场景下评估时，我们的方法在图像质量和训练收敛速度方面均实现了显著提升，为具有表征感知能力的生成建模开辟了新的方向。

生成式人工智能的快速扩展推动了对高性能计算的前所未见需求。训练大规模人工智能模型如今需要跨多个数据中心的庞大互联GPU集群。多尺度的人工智能训练与推理要求具备统一、超低延迟和高能效的连接，以使大量GPU能够作为一个整体单元协同工作。然而，传统的电学和光学互连技术依赖于传统数字信号处理器（DSP）来补偿信号失真，越来越难以满足这些严格的要求。 为了解决这些限制，我们提出了一种集成的神经形态光学信号处理器（OSP），该处理器利用深度储层计算技术，实现了无需DSP、全光学且实时的信号处理。实验表明，我们的OSP在C波段下通过5公里光纤实现了每通道100 Gbaud PAM4、总速率达1.6 Tbit/s的数据中心互连（相当于O波段下的超过80公里传输距离），远远超过了当前最先进的DSP解决方案的范围，而后者的性能从根本上受限于IMDD系统中的色散问题。同时，我们的OSP将处理延迟降低了四个数量级，并将能耗减少了三个数量级。与在高数据速率下引入更高延迟的传统DSP不同，我们的OSP无论数据速率如何扩展，都能保持一致的超低延迟，这使其非常适合未来的光学互连应用。 此外，OSP保留了完整的光场信息，从而实现更有效的损伤补偿，并能适应各种调制格式、数据速率和波长。通过成熟的硅光子工艺制造，OSP可以与硅光子收发器单片集成，进一步提升了全光互连的紧凑性和可靠性。这项研究提供了一种高度可扩展、节能且高速的解决方案，为下一代人工智能基础设施的发展铺平了道路。

为什么更大的语言模型具有更好的泛化能力？为了研究这一问题，我们基于 Chinchilla 扩展规律所描述的计算最优 regime，开发了关于大型语言模型（LLMs）预训练目标的泛化界。我们引入了一种全新的、完全基于经验的 Freedman 类型鞅集中不等式，通过考虑损失函数的方差来收紧现有的边界。这一泛化界可以分解为三个可解释的组成部分：每个 token 的参数数量、损失的方差以及在固定比特率下的量化误差。随着计算最优的语言模型规模扩大，每条数据的参数数量保持不变；然而，损失的方差和量化误差都会减少，这意味着更大的模型应该具有更小的泛化差距。我们从信息论的角度探讨了为什么更大的模型往往更容易被量化，表明它们在计算最优前沿上整合新信息的能力增长速度比其容量增长速度更慢。基于这些发现，我们得出了一个关于泛化差距的扩展规律，其边界随着规模的增长可预测地变得更加强大。

分布式系统，例如生物和人工神经网络，通过多个子系统的复杂交互来处理信息，从而在不同尺度上产生具有独特属性的高阶模式。由于难以定义合适的多变量指标并确保其在大规模系统中的可扩展性，研究这些系统如何处理信息仍然充满挑战。为了解决这些问题，我们提出了一种基于“香农不变量”的新框架——这是一种仅依赖于熵的定义、能够有效计算大规模系统中高阶信息处理本质属性的度量方法。我们的理论结果展示了香农不变量如何用于解决长期以来关于广泛使用的多变量信息论度量解释上的模糊性。此外，我们的实际应用结果揭示了不同深度学习架构在各层中的独特信息处理特征，这为我们提供了新的见解，帮助理解这些系统如何处理信息以及这种处理方式在训练过程中如何演变。总体而言，我们的框架解决了分析高阶现象的根本限制，并为理论发展和实证研究提供了广泛的机会。

我们提供了一个通用框架，用于学习将先验分布传输到目标分布的扩散桥。该框架不仅包括现有的生成建模扩散模型，还包括具有退化扩散矩阵的欠阻尼版本，在这些版本中噪声仅作用于某些维度。基于先前的研究成果，我们的框架能够严格证明，在欠阻尼情况下，得分匹配确实等价于最大化似然率的下界。受欠阻尼随机过程优越的收敛特性和与复杂数值积分方案兼容性的启发，我们提出了*欠阻尼扩散桥*，在此过程中学习一般密度演化，而不是由固定的加噪过程规定。我们将该方法应用于从未归一化密度中采样的挑战性任务，而无需访问来自目标分布的样本。在各种各样的采样问题中，我们的方法展示了最先进的性能，显著优于其他方法，同时所需的离散化步骤显著减少，并且不需要超参数调整。

从非规范密度中采样的有效方法基于将样本从一个简单的先验逐渐传输到复杂的目标分布的思想。两种流行的方法是：(1) 顺序蒙特卡洛（SMC），通过预定的马尔可夫链和重采样步骤，利用连续的退火密度进行传输；(2) 最近开发的基于扩散的采样方法，使用学习到的动力学传输。尽管目标相同，这两种方法各有不同的、通常是互补的优点和缺点。SMC 中的重采样步骤允许聚焦于空间中的有希望区域，通常导致稳健的性能。虽然该算法具有渐近保证，但缺乏灵活的学习转换可能导致收敛缓慢。另一方面，基于扩散的采样器是学习得到的，可以更好地适应当前的目标，但往往受到训练不稳定性的困扰。在这项工作中，我们提出了一种将 SMC 与基于扩散的采样器结合的原则框架，通过将两种方法视为连续时间过程并考虑路径空间上的测度。这最终导致了新的顺序控制朗之万扩散（SCLD）采样方法的诞生，该方法能够利用两种方法的优势，在多个基准问题上达到改进的性能，许多情况下仅需之前基于扩散的采样器 10% 的训练预算。

扩散模型已成为文本到图像生成的首选方法，通过称为逆向扩散的过程从噪声中生成高质量图像。理解逆向扩散过程的动力学对于引导生成过程并实现高样本质量至关重要。然而，由于扩散模型的黑箱性质及其复杂、多步骤的生成过程，其内部运作机制在很大程度上仍然是个谜。机械可解释性（MI）技术，例如稀疏自编码器（SAEs），通过对其内部表示进行细致分析，旨在揭示模型的工作原理。这些 MI 技术已经在理解和引导大规模语言模型的行为方面取得了成功。然而，SAEs 的巨大潜力尚未被用于深入了解扩散模型复杂的生成过程。在这项工作中，我们利用 SAE 框架来研究一个流行的文本到图像扩散模型的内部运作，并在其激活中发现了多种可被人理解的概念。有趣的是，我们发现即使在第一个逆向扩散步骤完成之前，通过查看已激活概念的空间分布，就可以出人意料地准确预测场景的最终构图。此外，超越相关性分析，我们展示了所发现的概念对模型输出具有因果影响，并可以用来引导生成过程。我们设计了干预技术以操纵图像的构图和风格，并证明了以下几点：（1）在扩散的早期阶段，图像构图可以得到有效控制；（2）在扩散的中间阶段，图像构图已确定，但风格干预仍然有效；（3）在扩散的最后阶段，只有细微的纹理细节可以发生变化。