MEAT: Median-Ensemble Adversarial Training for Improving Robustness and Generalization

自我集成对抗训练方法通过在不同的训练时期集成模型（例如模型权重平均）来提高模型的鲁棒性。然而，先前的研究表明，自我集成防御方法在对抗训练中仍然遭受到鲁棒性过度拟合的问题，这严重影响了泛化性能。经验上，在训练的后期，对抗训练变得更加过度拟合，以至于用于权重平均的个体也遭受过度拟合并产生异常权重值，这导致自我集成模型继续遭受鲁棒性过度拟合的问题，因为无法消除权重异常。为了解决这个问题，本文旨在解决权重空间中离群值的影响，并提出一种易于操作且有效的中位数集成对抗训练（MEAT）方法，从根源上解决自我集成防御中存在的鲁棒性过度拟合现象，通过寻找历史模型权重的中位数。实验结果表明，MEAT在面对强大的AutoAttack时实现了最佳的鲁棒性，并有效缓解了鲁棒性过度拟合。我们进一步证明，大多数防御方法可以通过与MEAT相结合来提高鲁棒泛化和鲁棒性。

解决自我集成防御方法中存在的强健过拟合问题

通过寻找历史模型权重的中位数，提出Median-Ensemble Adversarial Training (MEAT)方法来解决权重空间中异常值的影响，并有效缓解强健过拟合现象

实验结果表明，MEAT在对抗攻击方面具有最佳的强健性，并且能够有效缓解强健过拟合现象。此外，该论文还探讨了将MEAT与其他防御方法相结合的效果，并提供了开源代码。

相关论文包括：Self-Ensembling for Visual Domain Adaptation、Adversarial Training Methods for Semi-Supervised Text Classification等。