这本书介绍了深度学习的数学分析。它涵盖了近似理论、优化理论和统计学习理论等基础结果，这三个理论是深度神经网络理论的三大支柱。作为数学和相关领域的学生和研究人员的指南，本书旨在为读者提供基础知识。它优先考虑简单性而非普遍性，并呈现了严谨而易于理解的结果，以帮助建立对深度学习基本数学概念的理解。

近期的大语言模型显著提升了推理能力，这主要归功于在生成过程中引入了一个显式的、 lengthy 的思考过程。在本文中，我们质疑这种显式思考是否真的必要。通过使用最先进的 DeepSeek-R1-Distill-Qwen 模型，我们发现，通过简单的提示绕过思考过程（记为 NoThinking），可以取得令人惊讶的效果。在控制生成 token 数量的情况下，NoThinking 在七个具有挑战性的推理数据集上表现优于 Thinking，这些数据集涵盖了数学问题求解、形式化定理证明和编程任务，尤其是在低预算设置下更为明显，例如，在 ACM 23 数据集上，使用 700 个 token 时，NoThinking 的表现为 51.3%，而 Thinking 仅为 28.9%。值得注意的是，随着 pass@k 中 k 值的增加，NoThinking 的性能变得更加具有竞争力。基于这一观察，我们展示了并行扩展方法的有效性，即通过 NoThinking 独立生成 N 个输出，并对它们进行聚合。在聚合过程中，当有适用的任务特定验证器时，我们使用这些验证器；如果没有，则采用简单的最佳选择策略，如基于置信度的选择。我们的方法在延迟相似的情况下优于一系列使用 Thinking 的基线方法，并且在延迟显著更长（最多 9 倍）的情况下与 Thinking 方法表现相当。综上所述，我们的研究促使人们重新思考 lengthy 思考过程的必要性，同时也为在低预算或低延迟条件下通过并行扩展实现强大的推理性能提供了一个具有竞争力的参考。

扩散生成模型在视觉领域（如图像和视频生成）中展现了卓越的成功，并且最近在机器人领域，特别是在机器人操纵任务中，成为一种有前景的方法。扩散模型利用概率框架，以其能够建模多模态分布以及对高维输入和输出空间的鲁棒性而脱颖而出。本文对机器人操纵领域的最新扩散模型进行了全面综述，涵盖抓取学习、轨迹规划和数据增强等方面。用于场景和图像增强的扩散模型位于机器人学与计算机视觉的交界处，旨在通过视觉任务提高泛化能力和缓解数据稀缺问题。此外，本文介绍了扩散模型的两种主要框架及其与模仿学习和强化学习的结合方式。文章还讨论了常见的模型架构和基准测试，并指出现阶段最先进的基于扩散模型方法的优势与挑战。

向量处理器常常因非高效的内存访问而受到影响，尤其是对于跨步（strided）和分段（segment）访问模式。虽然合并跨步访问是一种自然的解决方案，但有效地收集或分散固定跨步的元素仍然具有挑战性。朴素的方法依赖于高开销的交叉开关（crossbars），这些开关可以在内存和寄存器之间重新映射任何字节，但会导致物理设计上的问题。分段操作需要行-列转置，通常通过元素级的原地转置（会降低性能）或基于大缓冲区的批量转置（会产生较高的面积开销）来处理。在本文中，我们提出了EARTH，一种新颖的向量内存访问架构，它通过基于移位的优化技术解决了这些问题。对于跨步访问，EARTH集成了专门的移位网络以实现元素的收集和分散。在将多个访问合并到同一缓存行后，数据通过移位网络在内存和寄存器之间传输，且开销极小。对于分段操作，EARTH采用了一种移位寄存器组，支持直接的列式访问，从而消除了专用的分段缓冲区，同时提供了高性能的原地批量转置功能。基于开源RISC-V向量单元，使用Chisel HDL在FPGA上实现的EARTH显著提升了跨步内存访问的性能，在以跨步操作为主导的基准测试中实现了4倍至8倍的加速。与传统设计相比，EARTH将硬件面积减少了9%，功耗降低了41%，从而大幅提升了向量处理器的性能和效率。

领先的AI公司越来越专注于构建通用型AI代理——这些系统能够自主规划、行动并在几乎所有人 类能够执行的任务中追求目标。尽管这些系统可能非常有用，但不受控制的AI代理对公共安全和 安全构成了重大风险，从恶意行为者的滥用到可能导致不可逆转的人类控制丧失。我们讨论了这 些风险如何源于当前的AI训练方法。实际上，各种场景和实验已经证明了AI代理可能会从事欺 骗行为或追求未由人类操作员指定且与人类利益相冲突的目标，例如自我保护。 遵循预防原则，我们认为有必要寻求更安全但仍具实用性的替代方案，以取代当前以代理为主 导的发展路径。因此，我们提出了一种非代理型AI系统作为进一步发展的核心构建块，这种系 统从设计之初就注重可靠性和安全性，我们称之为“科学家AI”。该系统旨在通过观察来解释世 界，而不是在其中采取行动以模仿或取悦人类。它包括一个生成理论以解释数据的世界模型和 一个用于回答问题的推理机。这两个组件都以明确的不确定性概念运作，以减轻过度自信预测 的风险。 基于这些考虑，“科学家AI”可以用于协助人类研究人员加速科学进步，包括AI安全领域。特 别是，我们的系统可以用作防止那些即使存在风险仍可能被创建的AI代理的安全屏障。最终， 关注非代理型AI可能使我们能够在享受AI创新带来的好处的同时，避免当前发展路径所伴随的 风险。我们希望这些论点能够激励研究人员、开发人员和政策制定者优先选择这条更安全的道 路。

具备网络搜索功能的大型语言模型（LLMs）在深度研究任务中展现了令人印象深刻的潜力。然而，当前的方法主要依赖于两种方式：一种是性能脆弱的手动设计提示（基于提示工程的方法），另一种是在受控的检索增强生成（RAG）环境中使用强化学习（基于RAG的方法），但这些方法都无法捕捉真实世界交互的复杂性。在本文中，我们提出了DeepResearcher，这是第一个全面的框架，用于通过在真实世界环境中扩展强化学习（RL），并结合真实的网络搜索交互，实现基于LLM的深度研究代理的端到端训练。与假设所有必要信息都存在于固定语料库中的基于RAG的方法不同，我们的方法训练代理以应对开放网络中的噪声、无结构和动态特性。我们实现了一种专门的多代理架构，其中浏览代理能够从各种网页结构中提取相关信息，并克服了重大的技术挑战。在开放领域研究任务上的广泛实验表明，DeepResearcher相比基于提示工程的基线方法提升了高达28.9分，相比基于RAG的强化学习代理提升了高达7.2分。我们的定性分析揭示了端到端强化学习训练中出现的认知行为，包括制定计划的能力、从多个来源交叉验证信息、进行自我反思以重新调整研究方向，以及在无法找到明确答案时保持诚实。我们的结果表明，在真实世界的网络环境中进行端到端训练不仅是一个实现细节，更是开发与实际应用对齐的强大研究能力的根本要求。我们已在 https://github.com/GAIR-NLP/DeepResearcher 开源了DeepResearcher。

欧几里得几何学的持久影响支撑着经典机器学习，几十年来，这种学习方法主要用于欧几里得空间中的数据。然而，现代机器学习越来越多地遇到天然的非欧几里得结构的复杂结构数据。这些数据可能展示出复杂的几何、拓扑和代数结构：从时空曲率的几何到大脑神经元之间的拓扑复杂相互作用，再到描述物理系统对称性的代数变换。从这样的非欧几里得数据中提取知识需要更广泛的数学视角。回应19世纪引起非欧几里得几何学的革命，一个新兴的研究方向正在用非欧几里得结构重新定义现代机器学习。其目标是将经典方法推广到具有几何、拓扑和代数的非传统数据类型。在本综述中，我们提供了一个易于理解的入门，介绍了这个快速发展的领域，并提出了一个图形分类法，将最新进展整合成一个直观的统一框架。我们随后从中提取出对当前挑战的见解，并突出未来发展中令人兴奋的机会。

在这项工作中，我们研究了利用范数球上的线性最小化神谕（LMO）的优化方法。我们提出了一类新的随机算法，这些算法使用LMO来适应问题的几何结构，并且令人惊讶的是，我们展示了它们也可以应用于无约束问题。由此产生的更新规则将几种现有的优化方法统一在一个框架之下。此外，我们为深度架构提出了一个明确的范数选择，这一选择的一个附带好处是可以在不同模型大小之间传递超参数。实验上，我们在nanoGPT训练中展示了显著的速度提升，而无需依赖Adam优化器。所提出的方法具有内存高效的特点，只需要存储一组模型权重和一组梯度，并且这些数据可以以半精度格式存储。

灾难性遗忘仍然是在将大型语言模型（LLMs）适应新任务或新领域时面临的主要挑战。传统的微调方法往往会覆盖现有知识，导致原始任务性能下降。我们引入了Transformer中的叠加架构，这是一种新颖的架构，利用自编码器将基础模型和微调模型的隐藏表示在共享参数空间内进行叠加。通过使用基于B样条的混合系数和能够根据输入数据分布自适应重建隐藏状态的自编码器，我们的方法有效缓解了灾难性遗忘，并实现了一种新的“模型内”叠加范式。这种方法在保留原始模型能力的同时，允许添加紧凑的领域特定专业知识，并且支持推理过程中在不同模型状态之间动态切换。

我们提出了有限范围嵌入（FiRE），这是一种用于精确大规模从头算电子结构计算的新型波函数假设。与当前的神经网络波函数相比，FiRE 将神经网络变分蒙特卡洛（NN-VMC）的渐近复杂度降低了约 \(n_\text{el}\)，即电子的数量。通过限制神经网络内的电子-电子相互作用范围，FiRE 加速了所有关键操作——采样、伪势计算和拉普拉斯运算，从而在目前可行的 180 电子计算中实现了实际速度提升达 10 倍。我们在多种具有挑战性的系统上验证了该方法的准确性，包括生化化合物、共轭烃和金属有机化合物。在这些系统中，即使在高精度方法（如 CCSD(T)、AFQMC 或当代 NN-VMC）表现不佳的情况下，FiRE 的能量结果仍始终处于化学精度范围内，并与最可靠的数据（包括实验数据）高度一致。凭借在运行时间和精度上的双重改进，FiRE 成为了一种新的“金标准”方法，能够快速而准确地进行大规模从头算计算，可能为量子化学、固体物理和材料设计等领域的全新计算研究开辟道路。