Generalized Gradient Descent is a Hypergraph Functor

本文介绍笛卡尔反导数类（Cartesian reverse derivative categories，CRDCs）对反导数的公理化推广，使得一般化的优化算法，如梯度下降，可以应用于广泛的问题类别。我们证明，对于给定的CRDC，相对于一般化的梯度下降法会引出一个超图函子，从一个优化问题的超图范畴到一个动力系统的超图范畴。这个函子的定义域包括了一些特点：1）以任意CRDC为基础定义的一般性目标函数；2）具有可组合性的开放式装饰跨度目标函数。该函子的值域也有类似的定义，是一个基于CRDC的一般性、开放式动力系统的范畴。我们描述了这个超图函子如何引出一个分布式优化算法，用于解决定义在该范畴内的任意复合问题。为了说明我们的框架可以模拟的问题类型，我们展示了多任务学习中参数共享模型如何通过选择CRDC引出一个复合优化问题。然后，我们将梯度下降函子应用于该复合问题，并描述了训练参数共享模型的分布式梯度下降算法的结果。

本论文旨在提出一种广义梯度下降算法，使其可以应用于广泛的问题类别中，包括多任务学习中的参数共享模型。

本论文提出了Cartesian reverse derivative categories (CRDCs)的概念，建立了一个从优化问题的超图范畴到动力系统的超图范畴的超图函子，进而引出一个分布式优化算法。

本论文的亮点在于提出了一个可以应用于广泛问题类别的算法框架，并且通过一个实例阐明了这一框架在多任务学习中参数共享模型的应用。论文使用了开源数据集，并且给出了代码实现。

在相关研究方面，本论文参考了一些关于广义梯度下降算法和多任务学习的文献，如“Generalization in Deep Learning”和“Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics”。