Towards a Systems Theory of Algorithms

传统上，数值算法被视为孤立的代码片段，存在于“in silico”的世界中。然而，在控制、学习或优化等现代计算方法中，这种观点并不适用，因为“in vivo”的算法需要与其环境进行交互。这种“开放”的例子包括各种实时优化控制策略、强化学习、决策架构、在线优化等。此外，即使是学习或优化中的“封闭”算法，也越来越多地被抽象成具有相互作用的动态模块和流水线的块状图。在本文中，我们阐述了我们对正在培育的“算法系统理论”的愿景，并主张将算法视为与其他算法、物理系统、人类或数据库相互作用的开放动态系统。值得注意的是，系统理论在众多工具中提供了有价值的见解，这些工具在算法世界中正在发生的范式转变及其伴随的挑战方面也提供了有价值的见解。我们调查了各种算法系统理论正在发展的实例，并概述了相关的建模、分析和设计挑战。

论文旨在提出一种将算法视为开放动态系统的方法，从而更好地理解算法与其他算法、物理系统、人类或数据库之间的交互。

论文提出了一种系统算法理论，并将算法视为与环境相互作用的开放系统，这一视角可以更好地解释现代计算方法中的许多问题。

论文探讨了算法系统理论的各种实例，并概述了相关的建模、分析和设计挑战。实验数据和代码未提及。

最近的相关研究包括：《深度学习中的系统理论》、《控制论在深度学习中的应用》等。