Deep Neural Networks via Complex Network Theory: a Perspective

深度神经网络（DNN）可以表示为图形，其链接和顶点迭代地处理数据并次优地解决任务。复杂网络理论（CNT）将统计物理学与图论相结合，通过分析神经网络的权重和神经元结构来解释神经网络。然而，经典作品采用的CNT指标仅允许进行拓扑分析，因为它们不考虑输入数据的影响。此外，CNT指标仅适用于有限的架构，主要包括全连接神经网络。在这项工作中，我们通过采样DNN的训练分布来扩展现有的CNT指标，从纯拓扑分析转向与深度学习可解释性相关的分析。对于这些新指标，除了现有的指标外，我们还提供了全连接、自编码器、卷积和循环神经网络的数学形式化，其中我们变化了激活函数和隐藏层数。我们表明这些指标根据架构、隐藏层数和激活函数区分DNN。我们的贡献提供了一种基于物理学的解释DNN的方法，可以超越传统的输入-输出关系和CNT拓扑分析，提供更多的见解。

论文旨在通过扩展复杂网络理论的度量方法，结合深度神经网络的训练分布，提供一种物理学方法来解释深度神经网络的工作原理。

论文提供了一种新的复杂网络理论度量方法，该方法结合了深度神经网络的训练分布，可以用于解释深度神经网络的工作原理。

论文提供了一种数学形式化方法，用于计算全连接、自编码器、卷积和循环神经网络的度量。实验证明，这些度量可以区分不同架构、不同隐藏层数和激活函数的深度神经网络。论文还提供了开源代码和使用的数据集。

在最近的相关研究中，有一些研究也利用复杂网络理论来解释深度神经网络的工作原理，例如“Deep Information Propagation”和“Understanding Deep Learning Requires Rethinking Generalization”。