权重初始化在神经网络训练中起着重要作用。已经提出并评估了广泛使用的初始化方法，用于从头开始训练的网络。然而，越来越多的预训练模型现在为解决这个经典的权重初始化问题提供了新的机会。在这项工作中，我们介绍了权重选择，这是一种通过从预训练的较大模型中选择子集来初始化较小模型的方法。这使得可以将预训练权重的知识转移到较小的模型中。我们的实验表明，权重选择可以显著提高小模型的性能并减少它们的训练时间。值得注意的是，它还可以与知识蒸馏一起使用。权重选择为在资源受限的环境中利用预训练模型的能力提供了一种新的方法，我们希望它能成为在大模型时代训练小模型的有用工具。代码可在https://github.com/OscarXZQ/weight-selection上找到。

如何在不牺牲性能的前提下减少神经网络（NN）的计算和存储要求？许多最近的研究使用稀疏的专家混合（MoEs）构建资源高效的大语言模型（LMs）。在这里，我们介绍了MoEs的几个新颖视角，提出了一个通用框架，统一了各种近似两层NN（例如Transformer的前馈块）的方法，包括产品键记忆（PKMs）。利用此框架的见解，我们提出了改进MoEs和PKMs的方法。与以前比较MoEs与密集基线的工作相比，我们的评估条件是参数相等的，这对于正确评估LMs至关重要。我们展示了我们的MoEs在WikiText-103和enwiki8数据集的两个不同规模上与密集Transformer-XL相竞争，同时更加资源高效。这表明MoEs不仅适用于极大的LMs，而且适用于任何规模的资源高效LMs。我们的代码是公开的。

本文解决了给定分子图形如何在三维空间中生成分子构象的问题。我们将这些构象参数化为连续函数，将分子图形元素映射到三维空间中的点。然后，我们将学习生成构象的问题规定为使用扩散生成模型——分子构象场（MCF）学习这些函数的分布。我们的方法简单可扩展，并在具有挑战性的分子构象生成基准测试中实现了最先进的性能，同时不对分子的显式结构（例如建模扭转角度）做出任何假设。MCF在推广扩散模型以以概念简单、可扩展和有效的方式处理复杂科学问题方面具有进展。

我们提出了VQ-NeRF，这是一个双分支神经网络模型，它结合了向量量化（VQ）来分解和编辑三维场景中的反射场。传统的神经反射场仅使用连续表示来建模三维场景，尽管现实中的物体通常由离散材料组成。这种缺乏离散化可能导致材料分解有噪声和材料编辑复杂。为了解决这些限制，我们的模型由一个连续分支和一个离散分支组成。连续分支遵循传统流程以预测分解的材料，而离散分支使用VQ机制将连续材料量化为单个材料。通过离散化材料，我们的模型可以减少分解过程中的噪声，并生成离散材料的分割图。可以通过单击分割结果的相应区域轻松选择特定材料进行进一步编辑。此外，我们提出了一种基于丢失的VQ码字排名策略来预测场景中的材料数量，从而减少材料分割过程中的冗余。为了提高可用性，我们还开发了一个交互式界面来进一步辅助材料编辑。我们在计算机生成的和真实世界的场景上评估了我们的模型，展示了其优越的性能。据我们所知，我们的模型是第一个能够在三维场景中实现离散材料编辑的模型。

最近，在高保真图像生成方面的进展中，去噪扩散概率模型（DDPMs）已经成为一个关键角色。然而，它们在高分辨率下的应用面临着重大的计算挑战。目前的方法，如补丁化，在UNet和Transformer架构中加快了处理过程，但代价是降低了表示能力。为了解决这个问题，我们引入了扩散状态空间模型（DiffuSSM），这是一种用更可扩展的状态空间模型骨干代替注意机制的架构。这种方法有效地处理了更高的分辨率，而不需要全局压缩，从而在扩散过程中保留了详细的图像表示。我们专注于FLOP高效的扩散训练架构，这是一个重大的进步。在ImageNet和LSUN数据集上进行的全面评估，两种分辨率都表明，DiffuSSMs在FID和Inception Score指标上与现有的具有注意模块的扩散模型相当甚至更好，同时显著减少了总FLOP使用量。

近年来，生成式人工智能取得了显著进展，强调了基于物理学原理的先进数学概念在增强人工智能能力方面的重要作用。其中，基于扩散方程的模型极大地提高了图像质量。本研究旨在探讨马克思韦尔特 Boltzmann 方程（构成气体动力学理论基础）和 Michaelis-Menten 模型在营销组合建模应用中的潜在用途。我们建议将这些方程纳入分层贝叶斯模型，以分析广告背景下的消费者行为。这些方程组在准确描述社交互动和消费者广告互动等复杂系统中的随机动态方面表现出色。

我们介绍了SODA，一种自监督扩散模型，旨在进行表示学习。该模型包含图像编码器，它将源视图提炼为紧凑的表示形式，进而指导相关新视图的生成。我们展示了通过在编码器和去噪解码器之间施加紧密的瓶颈，并利用新视图合成作为自监督目标，我们可以将扩散模型转化为强大的表示学习器，能够以无监督的方式捕捉视觉语义。据我们所知，SODA是第一个成功进行ImageNet线性探针分类的扩散模型，并且它能够在各种数据集上完成重建、编辑和合成任务。进一步的研究揭示了其出现的潜在空间的分离性质，这是控制和操作模型生成的图像的有效接口。总的来说，我们旨在揭示扩散模型的令人兴奋和有前途的潜力，不仅用于图像生成，也用于学习丰富和强大的表示。

鉴于AI素养的日益重要，我们决定编写这篇教程，以帮助缩小那些研究语言模型的人与那些对它们感到好奇并想要了解更多的人之间的差距。简而言之，我们认为研究人员和教育工作者的观点可以为公众对技术的理解增加一些清晰度，超出目前可用的范围，这些范围往往要么极其技术化，要么是产品供应商生成的宣传材料。我们的方法将语言模型的概念从建立在它们之上的产品、归因于或期望从这些产品中获得的行为以及关于与人类认知的相似性的声明中分离出来。作为起点，我们（1）提供了一个科学观点，重点关注可以通过实验研究的问题；（2）将现今的语言模型置于导致它们发展的研究背景中；以及（3）描述了目前对这些模型已知的范围。

传统上，大型语言模型通常是在大型指令数据集上微调的。然而，最近的研究表明，小型、高质量的数据集已经足以实现通用指令跟随。由于对LLM评估方法的快速分歧，这种微调最佳实践的缺乏共识部分是由于不断分歧的方法。在这项研究中，我们询问是否少量多样化的微调样本可以提高传统基于困惑度的NLP基准和基于模型的开放式评估的性能。我们在各种大小的指令微调数据集上微调开源MPT-7B和MPT-30B模型，这些数据集的样本数量从1k到60k不等。我们发现，1k-6k指令微调样本的子集足以在传统的NLP基准和基于模型的评估上实现良好的性能。最后，我们展示了混合教科书风格和开放式QA微调数据集可以优化两种评估范式的性能。

近年来，基于生成式、多用途人工智能系统的商业产品越来越受欢迎，承诺提供一种统一的方法来构建机器学习模型。然而，这种“通用性”的雄心壮志代价高昂，因为这些系统所需的能量和排放的碳量巨大。在本文中，我们提出了首个系统比较各类机器学习系统持续推理成本的方法，包括特定任务的模型（即进行单一任务的微调模型）和“通用型”模型（即为多个任务训练的模型）。我们将部署成本定义为使用这些模型在代表性基准数据集上执行1,000个推理所需的能量和碳排放量。我们发现，对于多种任务，即使控制模型参数的数量，多用途生成式体系结构的成本也比特定任务的系统高出数个数量级。我们最后讨论了部署多用途生成式机器学习系统的当前趋势，并警告说，应更加有意识地权衡它们的效用和能源排放成本。我们的研究数据可以通过交互式演示进行进一步的探索和分析。