Stability and Generalization in Free Adversarial Training

虽然对抗训练方法在深度神经网络对有界对抗扰动的鲁棒性方面取得了显著的改进，但它们从训练样本到测试数据的泛化性能被证明明显低于标准经验风险最小化方法。最近的几项研究试图将对抗训练分类器的泛化行为与用于训练的各种基于梯度的极小极大优化算法相联系。在这项工作中，我们使用算法稳定性框架研究对抗训练方法的泛化性能。具体而言，我们的目标是比较完全优化每次迭代的扰动的基本对抗训练方案和同时优化有界范数扰动和分类器参数的自由对抗训练的泛化性能。我们证明的泛化界限表明，由于其极小极大优化算法的同时性质，自由对抗训练方法可以享受更低的训练和测试样本之间的泛化差距。我们进行了几个数值实验来评估基本、快速和自由对抗训练方法的泛化性能。我们的实证发现还显示出自由对抗训练方法的改进泛化性能，并进一步证明更好的泛化结果可以转化为更强的抵抗黑盒攻击方案。代码可在https://github.com/Xiwei-Cheng/Stability_FreeAT上找到。

本文旨在研究对抗性训练方法的泛化性能，特别是比较全局优化和联合优化的对抗性训练方法的泛化性能。

本文通过算法稳定性框架，研究了全局优化和联合优化的对抗性训练方法的泛化性能，并证明了联合优化的方法具有更低的泛化差距。

本文通过实验验证了联合优化方法的泛化性能更好，并且具有更好的鲁棒性。作者还提供了开源代码。

最近的相关研究包括使用不同的对抗性训练方法来提高神经网络的鲁棒性，以及研究对抗性样本的生成和检测方法。相关论文包括“Explaining and Harnessing Adversarial Examples”和“Adversarial Examples in the Physical World”。