There Will Be a Scientific Theory of Deep Learning

本文提出，深度学习的科学理论正逐步成形。此处所谓“科学理论”，是指能够刻画神经网络训练过程、隐层表征、最终权重以及模型性能等关键属性与统计规律的理论体系。我们系统梳理了当前深度学习理论研究的主要脉络，并归纳出五大正在蓬勃发展的研究方向，它们共同指向这一理论的成型：（a）可解的理想化设定——这类设定虽经简化，却能为现实系统中的学习动力学提供深刻直觉；（b）可处理的极限情形——通过取极限揭示学习现象背后的基本原理；（c）简洁的数学定律——精准刻画若干关键的宏观可观测量；（d）超参数理论——将超参数从整个训练过程中解耦出来，从而留下更易分析的简化系统；（e）普适性行为——在不同模型架构与任务设置间反复出现的共性现象，有助于厘清哪些现象亟需理论解释。 综观上述五类工作，它们具有一些共通的鲜明特征：首先，均聚焦于训练过程的动力学演化；其次，主要致力于描述粗粒化的总体统计量（而非个体神经元或权重的精细轨迹）；第三，尤为强调可证伪的定量预测。我们认为，这一正在浮现的理论最宜被理解为一种关于学习过程的“力学”（mechanics），并建议将其命名为“学习力学”（learning mechanics）。我们进一步探讨了学习力学这一视角与其他构建深度学习理论的路径（如统计视角与信息论视角）之间的关系。特别地，我们预期学习力学与机制可解释性（mechanistic interpretability）之间将形成一种互促共生的关系。 此外，我们还回顾并回应了若干常见质疑，例如“深度学习不可能建立根本性理论”或“根本性理论并无实际重要性”。最后，我们勾勒出学习力学领域若干关键的开放性方向，并为初学者提供切实可行的入门建议。更多导引性材料、多元视角及待解问题，敬请访问网站 learningmechanics.pub。

论文试图解决深度学习缺乏统一、可验证、定量的科学理论这一根本问题，即：能否建立一种类似物理学‘力学’的、描述训练动力学、表征演化、权重统计与泛化性能的普适性理论框架。这不是全新问题，但论文首次系统提出并命名‘学习力学（learning mechanics）’作为正在浮现的理论范式，强调其可 falsify 的定量预测特性。

提出‘学习力学’这一新理论定位——将深度学习理论建模为关注训练过程动力学、宏观统计量（而非个体参数）和可检验预测的‘机制性科学’；整合五大互补研究路径：(a) 可解理想化模型、(b) 可控极限（如无限宽、大数极限）、(c) 经验标度律与简单数学规律、(d) 超参数解耦理论、(e) 跨架构/数据/任务的普适行为。关键新意在于系统性整合与范式命名，强调‘描述性力学’与传统统计学习理论、信息论视角的互补而非替代。

亮点包括：首次将多条前沿理论线索统一纳入‘learning mechanics’框架；明确主张理论应聚焦动力学、粗粒度统计和可证伪预测；强调与机械可解释性（mechanistic interpretability）的共生关系；全文无实验（属理论综述），但引用大量实证支撑的工作（如NTK、mean-field、neural scaling laws、loss landscape geometry等）；所有材料开源在learningmechanics.pub，含入门指南、开放问题列表及社区视角；值得深入的方向包括：学习力学的公理化尝试、动态相变的精确刻画、跨尺度连接（从单神经元到全局动力学）、以及与硬件感知训练的结合。

《Neural Tangent Kernel: Convergence and Generalization in Neural Networks》（Jacot et al., NeurIPS 2018）；《Mean Field Equations for Stochastic Gradient Descent》（Mei et al., PNAS 2019）；《The Deep Learning Revolution and Its Implications for AI Safety》（Bengio et al., AAAI 2023，含理论反思）；《Scaling Laws for Neural Language Models》（Kaplan et al., arXiv 2020）；《What Learning Algorithm Is in the Brain?》（Richards et al., Neuron 2019，神经科学交叉视角）