基于梯度的方法的范畴化丨机器学习理论常用范畴系列课程·周一直播

第四课“基于梯度的方法的范畴化”简介

范畴论正在成为数学和物理学中的统一力量，并在近年来拓展到化学、统计学、博弈论、因果关系和数据库理论中。作为组合性的科学，它帮助构建思想和想法，发现科学不同分支之间的共性，并将想法从一个领域转移到另一个领域。许多现代机器学习系统本质上是组合性的。

本节中介绍其中一种思路，基于梯度的机器学习方法，尤其是神经网络的范畴化理论。主要串联下列论文中的思想，比较其中定义的范畴并寻找一致性，同时提供给大家现阶段尚未解决的开放性问题。课程的框架试图通过范畴论的强大抽象和结构化工具来提供一个更深层次、更统一的理解深度学习的方式。这不仅可以帮助我们从理论上理解深度学习的工作机制，还可能指导我们设计新的算法和架构。

核心内容模块：

1. Categorical Foundations of Gradient-Based Learning

a.这部分提出使用范畴论的基本概念来理解基于梯度学习的数学基础。这意味着在更抽象的层面上理解深度学习中的计算和结构，以及它们是如何相互作用的。

2. Backprop as Functor

a.在范畴论中，函子(Functor)是两个范畴之间的映射，它保持了结构的性质。这里将反向传播算法视为一种函子，表明它可以在不同的数学结构间传递梯度信息，同时保持这些结构的某些基本特性。

3. Lenses and Learners

a. “透镜”(Lenses)是范畴论中的一个概念，用于描述如何集中视角来观察和修改数据结构。在这个框架中，它被用来理解学习模型如何从数据中提取信息并更新其参数。

4. Reverse Derivative Ascent

a.这部分可能关注于如何通过范畴论的视角理解和改进基于梯度上升（或下降）的优化过程，特别是在求解反向导数时的应用。

5. Dioptics

a.这是一个可能结合了范畴论中的“双函子”(Difunctors)和光学(如透镜理论)的概念，用于描述复杂学习系统中的信息流动和转换过程。

6. Learning Functors using Gradient Descent

a.这表明可以通过梯度下降这类优化方法来学习和优化函子，即在不同结构间映射的参数化方法，以此来改进学习算法。

7. Compositionality for Recursive Neural Networks

a.讨论了如何将组合的概念应用于递归神经网络中，以便于构建更复杂、功能更强大的模型。

8. Deep neural networks as nested dynamical systems

a.深度神经网络可以被视为嵌套的动态系统，每一层网络都可以被看作是一个动态系统的组成部分，整个网络是这些部分的组合。

9. Neural network layers as parametric spans

a.这可能涉及到将神经网络的每一层视为参数化跨度，通过这种方式可以在不同的数学结构中移动和调整这些层。

10. Categories of Differentiable Polynomial Circuits for Machine Learning

a.讨论了如何构建和使用可微分的多项式电路的范畴，以促进机器学习模型的设计和优化。

重点参考资料：

Categorical Foundations of Gradient-Based Learning https://arxiv.org/abs/2103.01931
Categorical Deep Learning: An Algebraic Theory of Architectures https://arxiv.org/abs/2402.15332
Backprop as Functor https://arxiv.org/abs/1711.10455
Lenses and Learners https://arxiv.org/abs/1903.03671
Reverse Derivative Ascent https://arxiv.org/abs/2101.10488
Dioptics http://events.cs.bham.ac.uk/syco/strings3-syco5/papers/dalrymple.pdf
Learning Functors using Gradient Descent http://www.cs.ox.ac.uk/ACT2019/preproceedings/Bruno%20Gavranovic.pdf
Compositionality for Recursive Neural Networks https://arxiv.org/abs/1901.10723
Deep neural networks as nested dynamical systems https://arxiv.org/abs/2111.01297
Neural network layers as parametric spans https://arxiv.org/abs/2208.00809
Categories of Differentiable Polynomial Circuits for Machine Learning https://arxiv.org/abs/2203.06430
Category-Theoretic Datastructures and Algorithms for Learning Polynomial Circuits https://eprints.soton.ac.uk/483757/1/paul_wilson_thesis_acrobat_fixup.pdf

主讲老师

贾伊阳，日本成蹊大学助理教授。研究重点是计算复杂性、算法，以及范畴相关理论。

分享信息

分享时间：2024年3月25日 19:00-21:00

分享方式：

1. 腾讯会议（报名付费课程可见）

2. 集智学园视频号直播

「范畴论与机器学习」系列课程

等你加入

为了帮助大家对范畴论与机器学习这一交叉领域有深入的了解，理解机器学习方法背后的范畴意义，集智学园联合日本成蹊大学助理教授贾伊阳，推出了「范畴论与机器学习」系列课程，旨在面向机器学习领域并且希望深入到理论思想层面、身在数学领域想要利用人工智能解决问题的、以及希望了解一些范畴论应用前景（例如和人工智能、量子计算融合的可能）的研究者，科普机器学习前沿领域论文中出现的范畴论知识。

本系列课程将以机器学习与范畴论的报告、论文和教材为课程材料，介绍其中的重要概念，以及更重要的是在这些概念背后隐藏的思想。从范畴观点切入机器学习，包括对机器学习的某些方法论建立背景的具体范畴的研究方法，以及从神经网络架构等出发研究在范畴上的某些结构，例如“层”，“纤维”，“topos”等的研究方法。这些繁琐的术语，复杂的概念如果从纯粹数学的角度出发，全然理解要耗费数年时间。本课程的主要目的是引导大家在避免过度消耗精力的同时快速了解这些概念和范畴架构在机器学习理论及应用中的意义。

如果你对此主题感兴趣，欢迎加入课程与老师同学共同学习探讨。

1. 课程链接：https://campus.swarma.org/course/5305

2. 系列课程详细信息：站在范畴论视角看机器学习 | 「范畴论与机器学习」系列课程上线