Efficient local linearity regularization to overcome catastrophic overfitting

单步对抗训练中的灾难性过拟合（CO）会导致对抗测试准确性的突然下降（甚至降至0％）。对于使用多步对抗训练的模型，观察到损失函数对于输入的局部线性性，但是这在单步对抗训练中丢失。为了解决单步对抗训练中的CO，已经提出了几种方法来通过正则化强制损失的局部线性性。然而，由于双向传播，这些正则化项会显著减慢训练速度。因此，在这项工作中，我们引入了一种正则化项，称为ELLE，以在经典的AT评估中以及一些更困难的情况下（例如大的对抗扰动和长时间训练计划）有效而高效地缓解CO。我们的正则化项可以理论上与损失函数的曲率联系起来，并且通过避免双向传播比以前的方法计算上更便宜。我们的彻底实验验证证明，我们的工作不会受到CO的影响，即使在以前的工作中遇到困难的设置中。我们还注意到，在训练过程中调整我们的正则化参数（ELLE-A）可以极大地改善性能，特别是在大的$\epsilon$设置中。我们的实现可在https://github.com/LIONS-EPFL/ELLE中找到。

本论文旨在解决单步对抗训练中的灾难性过拟合问题，该问题会导致对抗测试准确性的急剧下降。

该论文提出了一种名为ELLE的正则化项，通过减少计算量而有效地缓解了灾难性过拟合问题，并且可以与损失函数的曲率进行理论上的联系。

论文中的实验验证了该方法在单步对抗训练中的有效性，并且在大的对抗扰动和长时间训练等挑战性任务中表现良好。此外，ELLE-A的实现在大的epsilon设置中表现出色。该论文的代码已经开源。

在相关研究中，一些方法通过正则化来解决灾难性过拟合问题，但是由于双向传播而导致训练速度明显变慢。