本讲义从采样视角出发，以证明为导向，系统性地介绍了扩散模型，其内容贯穿一条清晰脉络：从经典的采样动力学出发，延伸至当代扩散采样器，进而涵盖其误差分析与推理阶段的调控方法。全篇内容分层组织：核心定义与恒等式均给出完整证明；代表性估计则在简化假设下予以严格推导；而面向前沿研究的定理则辅以清晰的证明思路导引。本书面向刚进入研究生阶段的学习者，要求读者具备概率论基础，但无需预先掌握随机微分方程、随机数值方法或扩散模型的相关知识。

这本书介绍了深度学习的数学分析。它涵盖了近似理论、优化理论和统计学习理论等基础结果，这三个理论是深度神经网络理论的三大支柱。作为数学和相关领域的学生和研究人员的指南，本书旨在为读者提供基础知识。它优先考虑简单性而非普遍性，并呈现了严谨而易于理解的结果，以帮助建立对深度学习基本数学概念的理解。

词元级信用分配仍是大语言模型（LLM）强化学习（RL）中的一大关键瓶颈：当前的强化学习方法通常将所有词元一视同仁，无法区分出决定性的推理步骤与常规的格式化操作或流畅但无实质意义的填充词元。近期一些研究尝试利用模型内部信号进行更细粒度的信用分配，但这些方法往往依赖于逐点式启发规则，忽视了信息传播所具有的全局结构特性。为此，我们提出FlowTracer——一种新型强化学习框架，它在由注意力机制构建的有向无环图（DAG）上追踪面向答案生成的推理路径流；该图中节点对应各词元，边的容量则由聚合后的注意力权重计算得出，并据此从全局结构中推导出各词元的信用值。具体而言，我们对边容量进行重加权处理，仅保留那些最终能够抵达答案区域的影响路径，同时强制满足局部流量守恒约束——即中间词元既不会因路径长度差异而损失有效“质量”，也不会因无关分支而额外获得“质量”。在此图基础上，FlowTracer提取出一条连接问题与答案的信息流主干路径，并依据各词元在该主干上的流量通过量为其打分，从而识别出具有高影响力的枢纽节点以及承担长程依赖聚合功能的关键检查点。由此得到的词元重要性被用于塑造词元层级的奖励信号，使学习过程能精准聚焦于那些真正将信息导向（或偏离）正确答案的关键词元，进而在一系列推理任务上实现稳定且显著的性能提升。

我们提供了一个几何证明，表明在双边交换中，随机提议者机制相对于最优贸易收益的近似比为4。接着，我们进一步改进这一几何分析，从而达到了当前最优的近似比3.15。

当梯度信息不可获取时，黑箱优化（BBO）方法提供了一种实用的替代方案。尽管演化策略（ES）、基于共识的优化（CBO）、通过积分进行优化（OVI）及相关方法各自已被独立研究，但它们之间的内在联系仍鲜有探讨。我们将其统一纳入一个共同的理论框架之中，揭示出这些方法的核心差异主要体现在两个设计选择上：一是适应度聚合方式（决定对平坦极小值的偏好程度），二是共识作用范围（决定对多模态解空间的处理能力）。基于上述洞见，我们提出了若干混合型优化器，可在现有方法之间实现平滑插值与灵活切换。其中，我们的ES-OVI混合优化器支持显式调控对平坦极小值的偏好，从而在连续控制任务中实现性能与鲁棒性之间的可控权衡；而我们的CBO-OVI混合优化器则融合了参数化方法在高维空间中的高效性与基于粒子方法的多模态寻优能力，在评估资源受限的语言模型融合任务中取得了具有竞争力的结果。我们在标准黑箱优化基准测试及更高维度的运动控制任务上对所提方法进行了验证，结果表明，这些混合优化器的性能可超越其各自的组成算法。

推理时缩放（inference-time scaling）是一种极具前景的范式，可用于提升生成模型的性能，尤其适用于输出需满足结构化约束或需优化下游任务奖励的情形。本文以掩码扩散模型（Masked Diffusion Model, MDM）为基础，提出MDM-VGB——一种离散型扩散采样器；该方法在原有“解掩码生成”（unmasking generation）流程之上，引入了具有理论保障的、基于奖励引导的重掩码（reward-guided remasking）机制。受近期经典Jerrum-Sinclair回溯马尔可夫链在奖励偏置生成任务中取得成功之启发，MDM-VGB将原本局限于固定前缀树上的回溯随机游走，拓展至更为灵活的“掩码状态图”（masked-state graph）上，从而允许模型在任意位置对已解掩码的token进行重新掩码（remasking），亦可对已掩码位置执行解掩码操作。由此产生的采样器倾向于选择那些能导向更高局部价值（即更高奖励的部分配置）的解掩码与重掩码动作，既可高效生成高奖励样本，亦能快速修复低奖励样本。我们从理论上证明：MDM-VGB对过程验证器（process verifier）中的噪声具有鲁棒性，且整体计算复杂度为二次方级（quadratic complexity）；相比之下，当前广泛应用的测试时启发式方法（如“最优-N选一”（best-of-$N$））则可能因错误累积而陷入指数级复杂度。我们的理论分析得到了扎实实证结果的有力支持，尤其在Sudoku（数独）和QM9等广受关注的约束满足类与科学计算类基准任务上表现尤为突出。

基础模型通常会向公众发布，但其训练所用的数据配方（例如决定不同数据源采样比例的领域混合权重）却极少被公开。这导致了一种访问不对称性：研究人员虽可研究已发布的模型，却无法获知生成该模型的实际训练数据分布。此前用于推断训练数据的相关工作（如成员推断）仅能在单个样本层面进行检测，因而无法刻画整个训练语料库的全局构成。为此，我们提出了WARP框架，它能够直接从已发布的微调模型权重中恢复其训练阶段所采用的领域混合比例。WARP通过模型融合技术，在基础模型与微调模型之间进行插值，生成一系列伪检查点（pseudo-checkpoints），以近似还原缺失的训练轨迹，并在权重空间中显现出训练数据所留下的几何“足迹”。基于这些模拟生成的几何足迹，WARP提取相应的几何特征，并借助两种方式将其映射为各领域的混合比例：一种是无需参数的Softmax读出层，另一种则是基于合成混合数据训练所得的多层感知机（MLP）投影器。在针对BERT和GPT-2开展的受控实验中，WARP恢复领域混合比例的平均绝对误差（MAE）分别低至0.046和0.104，性能显著优于成员推断方法，亦优于一种可访问真实训练轨迹的对比变体。

私有持续计数是差分隐私领域的一个基础性问题：给定一个长度为 $n$ 的二进制数据流，其中每个“1”代表一名个体的贡献，目标是在保护每位个体隐私的前提下，实时发布所有前缀和（即运行计数）。标准算法是二叉树机制（binary tree mechanism），其高斯噪声变体在近似差分隐私（approximate differential privacy）下所能达到的期望 $\ell_\infty$ 误差与 $\log^{3/2} n$ 成正比。长期以来，这一关于数据流长度 $n$ 的依赖关系是否不可避免，始终是该领域一个核心的开放问题。 本文彻底解决了这一关于 $n$ 的依赖性问题：我们证明，任何满足差分隐私的持续计数机制，其期望 $\ell_\infty$ 误差必为 $\Omega(\log^{3/2} n)$。这表明，在近似差分隐私设定下，二叉树机制在渐近意义上是最优的。 作为推论，我们还得到了“遗传差异度”（hereditary discrepancy）与线性查询下的私有 $\ell_\infty$ 误差之间迄今所能达到的最大可能分离：该结果表明，目前已知的、以遗传差异度为上界来刻画私有 $\ell_\infty$ 误差的一般性上界，其关于查询数量的依赖关系已是最佳可能的。

发散性思维是创造力的关键组成部分，然而大型语言模型（LLMs）在面对开放式问题时往往持续生成高度相似的回答，这种现象被称为“人工蜂群思维效应”。本文提出了一种无需数据的创新方法——CreativityNeuro，通过对比式权重引导（contrastive weight steering）来提升LLM的发散性思维能力。我们在多项创造力评估任务中对这一方法进行了系统评测，并得出若干核心发现：在词汇空间创造力测验——发散联想任务（Divergent Association Task, DAT）上，CreativityNeuro最多可将模型表现提升达14个人类百分位点；随后，在一项大规模人类评估实验（N=720）中，针对替代用途任务（Alternative Uses Test, AUT）和任务任务（Task Task），CreativityNeuro在原创性、意外性与整体创造力三个维度均实现了显著提升，并且该提升效果可有效迁移到篇幅更长、开放性更强的任务中。尤为重要的是，我们在全部三项任务中均观察到，CreativityNeuro能切实降低模式坍缩（mode collapse）程度的各项量化指标。此外，尽管激活引导（activation steering）在DAT上取得了与CreativityNeuro相近的性能，但它无法迁移到AUT和Task Task中，这凸显了权重空间引导（weight-space steering）在泛化至未见任务方面的独特优势。综上所述，CreativityNeuro无需依赖行为数据、无需重新训练、亦无需基于梯度的微调，即可有效提升LLM的发散性思维能力并缓解模式坍缩问题，为增强大语言模型在创造性领域的表现提供了一种简洁而实用的技术路径。

我们介绍了神经预条件算子（NPO），这是一种旨在加速求解来自偏微分方程（PDE）的大规模稀疏线性系统的克里洛夫（Krylov）求解器的新方法。与经典预条件子不同，后者通常需要大量的调整，并且在不同的网格或参数之间难以泛化，而NPO则通过条件损失和残差损失训练的神经算子来实现。该框架可以无缝集成到现有的神经网络模型中，作为预条件子有效提升克里洛夫子空间方法的性能。此外，通过将代数多重网格原理与基于变换器的架构相结合，NPO显著减少了求解泊松方程、扩散方程和线性弹性问题时所需的迭代次数和运行时间，无论是在均匀网格还是非规则网格上。我们的大量数值实验表明，NPO在各种分辨率下均优于传统方法和现代神经方法，即使在高达4096的网格上也能确保稳健收敛，远超其初始训练范围。这些发现强调了数据驱动预条件技术在提高高维PDE应用计算效率方面的潜力。