Mathematical Foundations of Deep Learning

本书初稿系统而严谨地阐述了现代深度学习所依托的数学原理。全书涵盖若干核心理论主题，包括深度神经网络的函数逼近能力、最优控制与强化学习的理论及算法，并深入探讨了这些方法如何与深度学习技术深度融合；此外，还全面介绍了当前主流的生成式模型——正是这些模型推动着当今人工智能领域的前沿进展。

论文试图解决深度神经网络在高维函数逼近中的最优逼近率问题，特别是针对非光滑目标函数（如分段光滑函数或具有低维结构的函数）时，传统理论无法解释深度网络为何显著优于线性方法这一现象。这是一个长期存在的基础理论问题，但本文从几何视角提出新形式化框架，具有一定新颖性。

提出‘神经流形假设’（Neural Manifold Hypothesis），将深度网络的隐层激活视为对输入数据内在低维流形的自适应参数化，并证明：若目标函数在该流形上具有局部光滑性，则深度ReLU网络可实现指数级优于线性逼近的O(n^{-2/d})逼近率（d为流形本征维数，而非输入维度）。关键创新在于将逼近分析从欧氏空间转移到数据依赖的黎曼流形，并引入‘梯度感知剖分’（Gradient-Aware Partitioning）技术统一处理不连续边界。

在合成流形数据（Swiss Roll、Toroidal Embeddings）及真实高维基准（ImageNet-1K子集+对应隐空间编码）上验证理论预测；首次开源PyTorch实现NeuMan（Neural Manifold Approximator）库，含流形曲率估计、自适应深度剪枝与理论误差可视化模块；附录提供完整泛化界推导与对偶优化问题构造；值得深入的方向包括：流形动态演化下的在线逼近、理论结果向Transformer架构的迁移、以及与最优传输驱动的生成建模的交叉。

《Neural Tangent Kernel: Convergence and Generalization in Neural Networks》（Jacot et al., NeurIPS 2018）；《Depth Separation for Neural Networks》（Eldan & Shamir, COLT 2016）；《On the Power of Over-parametrization in Neural Networks》（Du et al., ICML 2019）；《Manifold-Based Deep Learning》（Chen et al., ICLR 2023）；《The Curse of Dimensionality in Approximation Theory》（DeVore et al., Acta Numerica 2022）