Revisiting Adversarial Training under Long-Tailed Distributions

深度神经网络容易受到对抗性攻击，通常会导致错误的输出。对抗性训练被认为是应对此类攻击最有效的方法之一。然而，现有的对抗性训练技术主要在平衡数据集上进行测试，而实际数据往往呈现长尾分布，这对这些方法在实际情况下的有效性产生了怀疑。本文探讨了在长尾分布下的对抗性训练。通过对之前的工作“RoBal”的分析，我们发现仅利用平衡Softmax Loss就可以实现与完整RoBal方法相当的性能，同时显著降低训练开销。此外，我们还发现，类似于均匀分布，长尾分布下的对抗性训练也会受到强健的过拟合的影响。为了解决这个问题，我们探索了数据增强作为解决方案，并意外地发现，与平衡数据的结果不同，数据增强不仅可以有效缓解强健的过拟合，还可以显著提高强健性。我们进一步研究了数据增强提高强健性的原因，并确定这归因于示例的多样性增加。广泛的实验进一步证实了仅数据增强就可以显著提高强健性。最后，基于这些发现，我们证明了与RoBal相比，BSL和数据增强的组合在CIFAR-10-LT上的AutoAttack下可以使模型的强健性提高6.66％。我们的代码可在https://github.com/NISPLab/AT-BSL上获得。

本文旨在探讨长尾分布下的对抗训练，并研究数据增强在解决对抗训练中的过拟合问题和提高模型鲁棒性方面的作用。

本文发现，在长尾分布下，仅利用平衡Softmax Loss（BSL）就能实现与RoBal方法相当的性能，且大大降低了训练开销。同时，数据增强不仅能够有效缓解过拟合，还能显著提高模型的鲁棒性，这是一个出人意料的发现。

本文的实验结果表明，数据增强可以显著提高模型的鲁棒性。与RoBal相比，BSL和数据增强的组合在CIFAR-10-LT上将模型的鲁棒性提高了6.66％。作者还公开了代码，供其他研究人员使用。

最近的相关研究包括RoBal和其他对抗训练技术，如TRADES和MART。