本文对Episodic Upside-Down 强化学习、目标条件监督学习和在线决策转换器的收敛性和稳定性进行了严格的分析。这些算法在从游戏到机器人任务的各种基准测试中表现出色，但对其理论理解仅限于特定的环境条件。这项工作为基于广泛范式的算法奠定了理论基础，这些算法通过监督学习或序列建模方法来处理强化学习问题。研究的核心在于分析底层环境的条件，在这些条件下，算法能够识别最优解。我们还评估了在环境受到极小噪声影响的情况下，新兴解决方案是否保持稳定。 具体而言，我们研究了命令条件策略、价值和目标达成目标的连续性和渐近收敛性，这些都依赖于底层马尔可夫决策过程的转移核。我们证明了如果转移核位于确定性核的足够小邻域内，则可以实现接近最优的行为。所提到的数量（策略、价值等）在确定性核处是连续的（针对特定拓扑结构），无论是在渐近情况下还是在有限的学习周期后。开发的方法使我们能够首次明确估计策略和价值的收敛性和稳定性，这些估计基于底层转移核。 在理论方面，我们引入了一些新的概念到强化学习领域，例如在片段空间中工作、在商拓扑中研究连续性以及应用动力系统理论中的不动点理论。理论研究伴随着对示例环境的详细调查和数值实验。

我们提出了一种代理型、自主的图扩展框架，该框架迭代地在原位结构化和细化知识。与依赖静态提取或单次学习的传统知识图谱构建方法不同，我们的方法将一个以推理为本的大型语言模型与不断更新的图表示相结合。在每一步中，系统会主动生成新的概念和关系，将其合并到全局图中，并根据其演变结构制定后续提示。通过这种反馈驱动的循环，模型将信息组织成一个无尺度网络，其特征是中心节点形成、模块性稳定以及桥接节点连接不同的知识集群。经过数百次迭代后，新的节点和边继续出现而不会饱和，同时中心性度量和最短路径分布也在演变，从而产生越来越分散的连通性。我们的分析揭示了涌现模式，例如高度连接的“枢纽”概念的兴起以及“桥梁”节点影响力的转变，这表明代理型、自我强化的图构建可以产生开放且连贯的知识结构。应用于材料设计问题时，我们通过提取特定节点和协同层面的原则进行组合推理实验，以促进真正新颖的知识合成，产生超越机械总结的跨领域想法，增强了该框架在开放式科学发现中的潜力。我们还讨论了该方法在其他科学发现中的应用，并概述了未来提升可扩展性和可解释性的方向。

大语言模型（LLMs）在许多任务上的表现很大程度上受限于预训练期间学到并存储在模型参数中的知识。低秩适应（LoRA）是一种流行且高效的训练技术，用于更新或特定领域的适应大型语言模型。在这项研究中，我们探讨了如何在不损害先前所学知识的情况下，使用LoRA将新事实融入到大型语言模型中。我们使用不同数量的新知识对Llama-3.1-8B-instruct进行了基于LoRA的微调。实验结果显示，当训练数据包含已知和新事实的混合时，效果最佳。然而，这种方法仍然可能带来负面影响，因为在这种微调后，模型在外部问答基准测试中的表现有所下降。当训练数据偏向某些实体时，模型倾向于回归到少数过度代表的答案。此外，我们发现模型变得更加自信，并且在少数情况下拒绝提供答案。这些发现突显了基于LoRA的大型语言模型更新的潜在问题，并强调了训练数据组成和调整参数的重要性，以平衡新知识的整合和模型的整体能力。

最近，文本引导的可扩展矢量图形（SVG）合成在图标设计和素描等领域显示出了潜力。然而，现有的文本到SVG生成方法缺乏可编辑性，并且在视觉质量和结果多样性方面存在困难。为了解决这些限制，我们提出了一种新的文本引导矢量图形合成方法，称为SVGDreamer。SVGDreamer采用了一种语义驱动的图像矢量化（SIVE）过程，使合成分解为前景对象和背景，从而增强了可编辑性。具体而言，SIVE过程引入了基于注意力的原始控制和注意力掩码损失函数，以有效控制和操纵单个元素。此外，我们提出了一种基于矢量化粒子的分数蒸馏（VPSD）方法，以解决现有文本到SVG生成方法中存在的颜色过饱和、矢量基元过度平滑和结果多样性有限等挑战。此外，在VPSD的基础上，我们引入了奖励反馈学习（ReFL）来加速VPSD的收敛并提高美学吸引力。大量实验已经进行，以验证SVGDreamer的有效性，在可编辑性、视觉质量和多样性方面表现优于基线方法。SVGDreamer的代码和演示可以在\href{https://ximinng.github.io/SVGDreamer-project/}{https://ximinng.github.io/SVGDreamer-project/}找到。

我们引入了测试时可扩展的MCTS增强扩散模型（T-SCEND），这是一种新颖的框架，通过改进基于能量的训练和扩大测试时计算规模，显著提升了扩散模型的推理能力。首先，我们展示了简单地增加扩散模型的推理预算只会带来边际收益。为了解决这一问题，T-SCEND的训练包括一个新颖的线性回归负对比学习目标，以提高能量景观的性能与能量一致性，并采用KL正则化来减少对抗性采样。在推理过程中，T-SCEND将去噪过程与一种新颖的混合蒙特卡洛树搜索（hMCTS）相结合，该方法在去噪过程中依次执行最佳N随机搜索和蒙特卡洛树搜索。在复杂的迷宫和数独推理任务中，我们展示了T-SCEND训练目标和可扩展推理方法的有效性。特别是，使用最大为6x6大小的迷宫进行训练后，我们的T-SCEND能够解决88%的更大规模（15x15）的迷宫问题，而标准扩散模型则完全失败。用于重现实验的代码可以在https://github.com/AI4Science-WestlakeU/t_scend找到。

生成模型在各个领域产生了重大影响，这主要归功于它们在训练过程中通过增加数据、计算资源和模型规模来扩展的能力，这种现象由扩展定律所描述。最近的研究开始探索大语言模型（LLMs）在推理时间的扩展行为，揭示了如何通过在推理过程中增加计算量来进一步提高性能。与大语言模型不同，扩散模型本质上具有通过调整去噪步骤数量来改变推理时间计算的灵活性，尽管通常在几十步之后性能增益会趋于平稳。在这项工作中，我们探讨了扩散模型在增加去噪步骤之外的推理时间扩展行为，并研究如何通过增加计算量来进一步提高生成性能。具体来说，我们考虑了一个旨在为扩散采样过程找到更好噪声的搜索问题。我们沿着两个轴构建设计空间：用于提供反馈的验证器，以及用于寻找更好噪声候选的算法。通过在类别条件和文本条件图像生成基准上的广泛实验，我们的研究发现表明，增加推理时间的计算量可以显著提高扩散模型生成样本的质量，并且由于图像的复杂性，框架中的组件组合可以根据不同的应用场景进行特定选择。

我们提出了一种基于顺序似然混合构造置信集的通用框架。借鉴顺序分析的经典成果，我们提供了一个统一的视角来审视几项近期的工作，并建立了顺序混合、贝叶斯推断以及在线估计中的后悔不等式之间的基本联系。该框架适用于任何可实现的似然函数族，允许处理非独立同分布的数据，并确保随时有效。此外，该框架无缝集成了标准的近似推理技术，如变分推理和基于采样的方法，并扩展到模型类别的误设情况，同时保持可证明的覆盖保证。我们通过推导经典场景下的更紧密置信序列，包括顺序线性回归和稀疏估计，并简化了证明过程，展示了该框架的强大功能。

本文深入探讨了元提示（Meta Prompting）技术，这是一种革新大型语言模型（LLM）、多模态基础模型和人工智能系统解决问题和数据解释的方法。元提示基于类型理论和范畴论，注重信息的结构和语法，提供了一个超越传统内容为中心方法的独特框架。我们深入探讨了元提示的正式定义，将其与少样本提示进行对比，并强调了其在各种人工智能应用中的适用性和优越性。 本文探索的关键是将元提示扩展到复杂推理领域。在这里，我们展示了这种技术如何将复杂问题分解成可管理的子问题，促进了一种逐步详细的解决问题的方法。这种方法在令牌效率和在解决问题场景中提供公平比较方面尤其有利，与少样本示例方法相比更加出色。 此外，本文通过将元提示扩展到多模态基础模型设置中，开创了新的领域。这种扩展解决了在元提示的结构化框架内集成多种数据类型（如图像、音频和视频）的问题，凸显了这种方法在处理复杂多面向数据方面所面临的挑战和巨大潜力。（代码可在https://github.com/meta-prompting/meta-prompting上找到。）

大型语言模型越来越多地在包含自然语言和非语言数据（例如源代码）的语料库上进行训练。除了帮助与编程相关的任务外，有 anecdotal evidence 表明，在预训练语料库中包含代码可能会提高与其他不相关任务的性能，但迄今为止，没有任何工作能够通过控制语言和代码数据之间的关系来建立因果联系。在这里，我们做到了这一点。我们在两种不同的设置中对自然语言和代码交替出现的数据集进行预训练语言模型：加法模式，其中预训练期间看到的数据总量保持不变；和竞争模式，其中语言数据的数量保持不变。我们研究预训练混合物如何影响在 BigBench 基准测试中包含的多样化任务集合和组合性能，该基准测试包括语义解析和语法转换的泛化准确性。我们发现，预训练更高比例的代码可以提高涉及结构化输出（如语义解析）和数学的组合任务的性能。相反，增加代码混合可能会损害其他任务的性能，包括需要对语言结构（如语法或形态）敏感的任务和衡量现实世界知识的任务。

强化学习现在被广泛应用于大型语言模型训练的最后阶段，特别是在数学问题等推理类任务中。通常情况下，模型在单个训练步骤中会尝试每个问题多次，并试图从成功和失败中学习。然而，我们发现，在使用两个流行算法（PPO 和 VinePPO）对两个常用数据集进行训练的过程中，许多问题要么所有尝试都能解决——意味着它们已经被掌握，要么所有尝试都无法解决——无法提供有意义的训练信号。 为了解决这一问题，我们借鉴了强化学习文献中的一个方法——可学习性采样，并将其应用于大型语言模型训练的强化学习阶段。我们的课程设置优先选择成功率波动较大的问题，即那些有时能成功但并非总是成功的问题。研究结果表明，这种方法在多个算法和数据集上一致地提升了训练性能，为大型语言模型中的更高效和有效的强化学习铺平了道路。