今天分享一篇自己 ECCV 2022 的文章『Understanding the Dynamics of DNNs Using Graph Modularity』。

论文地址：https://arxiv.org/pdf/2111.12485.pdf

代码地址：https://github.com/yaolu-zjut/Dynamic-Graphs-Construction

 

Introduction

深度神经网络由于其黑盒属性在很多场景下应用受到限制，本文旨在从图论的角度解释深度神经网络的中间层特征的动态变化过程。

现有的工作大致分为两类，第一类通过可视化的方式进行中间层特征的研究，第二类通过计算层间相似性/距离来定量研究中间层。然而，他们或忽略了深度神经网络的动态，或只能通过可视化，而不是定量研究的方式来探查深度神经网络的动态。

为此，我们将深度神经网络中特征表示的线性分离过程建模为一个动态图中社区演化的过程并采用图论中的模块度指标来定量分析其过程：


上图显示模块度可以定量的反映深度神经网络中间层特征的线性分离程度。

Methodology

这里我们将介绍如何构建动态图以及计算模块度。

对于一批次的样本，我们首先提取其中间层的特征，并将其处理成二维矩阵，接着我们计算样本间相似性矩阵，并只保留前k个高相似度的值。由此，我们得到了一系列稀疏的邻接矩阵，并以此可以形成一系列的图。这些图之间由于特征的连续性，我们可以将其看作一个初始图随时间演化的过程，如下图所示：

此外，由于每类样本存在天然的标签，自然而然我们可以将同一类的图像认为属于同一个社区，最后我们用模块度来计算在动态图演化过程中社区形成质量：