Can Implicit Bias Imply Adversarial Robustness?

梯度下降算法的隐式偏差通常被认为是有益的，因为它导致训练出的网络通常具有良好的泛化性能。然而，Frei等人（2023年）表明，这种隐式偏差可能会损害对抗鲁棒性。具体而言，当数据由具有小的簇间相关性的簇组成时，通过梯度流训练的浅层（两层）ReLU网络具有良好的泛化性能，但对于小半径的对抗性攻击却不具有鲁棒性，尽管存在一个更为鲁棒的分类器，可以从浅层网络中明确构建出来。在本文中，我们扩展了最近对神经元对齐的分析，以表明通过梯度流训练的具有多项式ReLU激活（pReLU）的浅层网络不仅具有良好的泛化性能，而且还具有对抗性攻击的鲁棒性。我们的结果强调了数据结构和架构设计在训练网络的隐式偏差和鲁棒性方面的相互作用的重要性。

研究神经网络的隐式偏差对对抗鲁棒性的影响，尤其是在数据结构和架构设计之间的相互作用方面。

通过扩展神经元对齐的最近分析，证明了使用梯度流训练的具有多项式ReLU激活函数（pReLU）的浅层网络不仅具有良好的泛化能力，而且还具有对抗攻击的鲁棒性。

论文的实验表明，相比于当前领域的研究，使用pReLU激活函数的浅层神经网络具有更好的对抗鲁棒性。研究还探讨了数据结构和架构设计之间的相互作用对神经网络隐式偏差和鲁棒性的影响。

最近的相关研究包括：Frei等人的研究表明，浅层ReLU网络在数据具有小的聚类间相关性时，虽然具有良好的泛化能力，但对小半径的对抗攻击不具有鲁棒性。