Compositional Estimation of Lipschitz Constants for Deep Neural Networks

本文介绍了利普希茨常数在证明神经网络对输入扰动和对抗攻击的鲁棒性以及神经网络控制器系统的稳定性和安全性方面的重要作用。因此，估计神经网络利普希茨常数的紧密界限是一个研究深入的课题。然而，典型的方法涉及解决一个大的矩阵验证问题，其计算成本随着网络深度的增加而显著增加。在本文中，我们提供了一种组合方法，通过将大的矩阵验证问题精确分解为较小的子问题来估计深度前馈神经网络的利普希茨常数。我们进一步获得了一个适用于大多数常见神经网络激活函数的闭合解，这将使在线控制设置中部署的神经网络快速获得鲁棒性和稳定性证书。最后，我们通过数值实验证明，我们的方法提供了大幅度的计算时间减少，同时产生的利普希茨边界非常接近于最先进的方法所实现的边界。

论文旨在通过提供一种分解大型矩阵验证问题为较小子问题的方法来估计深度前馈神经网络的Lipschitz常数，以证明神经网络对于输入扰动和敌对攻击的鲁棒性以及具有神经网络控制器的系统的稳定性和安全性。这是否是一个新问题？

论文提供了一种组合方法来估计深度前馈神经网络的Lipschitz常数，通过获得大型矩阵验证问题的精确分解为较小的子问题。此外，论文还获得了适用于大多数常见神经网络激活函数的闭合形式解决方案，这将使在线控制设置中部署的神经网络能够快速获得鲁棒性和稳定性证书。

论文通过数值实验证明了该方法提供了计算时间的大幅减少，并且得到的Lipschitz常数非常接近于最先进的方法。论文还提到了使用的数据集和开源代码，并强调了该方法的实用性和可扩展性。

最近在这个领域中，还有一些相关的研究，例如“Deep Learning with Differential Privacy”和“Towards Evaluating the Robustness of Neural Networks”。