Persistent Classification: A New Approach to Stability of Data and Adversarial Examples

存在一些假设来解释分类问题中对抗样本的存在。这些假设包括数据的高维性、感兴趣的数据流形在环境空间中的高余维度，以及机器学习模型的结构可能会鼓励分类器在数据点附近形成决策边界。本文提出了一个新的框架来研究对抗样本，该框架不直接依赖于到决策边界的距离。类似于平滑分类器文献，我们定义一个（自然或对抗性）数据点为$(\gamma,\sigma)$-稳定，如果在以给定标准差$\sigma$取样的高斯邻域内，相同分类的概率至少为$\gamma$。我们专注于研究自然点和对抗点插值沿着持久性度量的差异。我们展示了在MNIST和ImageNet数据集的背景下，对于大型神经网络，对抗样本的持久性显著低于自然样本。我们通过测量插值线与决策边界的角度，将这种持久性的缺失与决策边界的几何形状联系起来。最后，我们通过开发流形对齐梯度度量，并展示使用该度量训练可以实现的鲁棒性的增加，将这种方法与鲁棒性联系起来。

研究对抗性样本的存在和影响，提出新的研究框架。

提出（γ，σ）-稳定性概念，研究自然和对抗性样本在插值中的持久性差异，并将其与决策边界几何联系起来，进一步发展了流形对齐梯度度量。

实验证明，对于MNIST和ImageNet数据集中的大型神经网络，对抗性样本的持久性显著低于自然样本。研究的流形对齐梯度度量方法可以提高模型的鲁棒性。

最近的相关研究包括：Goodfellow等人提出的对抗性攻击方法，以及Madry等人使用对抗性训练提高模型鲁棒性的方法。