Improving robustness to corruptions with multiplicative weight perturbations

本文提出了一种新的方法，可以提高深度神经网络（DNN）对各种干扰的鲁棒性，而不会影响其在干净图像上的准确性。作者发现，将特定的干扰引入数据增强流程中可以提高对这些干扰的鲁棒性，但可能会损害在干净图像和其他类型的扭曲上的性能。作者首先证明了输入扰动可以被权重空间中的乘法扰动所模拟。基于此，作者提出了一种名为“数据增强通过乘法扰动”（DAMP）的训练方法，该方法通过随机乘法权重扰动来优化DNN。作者还研究了最近提出的“自适应锐度感知最小化”（ASAM）方法，并表明它可以在对抗性乘法权重扰动下优化DNN。在图像分类数据集（CIFAR-10/100、TinyImageNet和ImageNet）和神经网络架构（ResNet50、ViT-S/16）上的实验表明，DAMP可以提高模型在不同设置下存在干扰的情况下的泛化性能。值得注意的是，DAMP可以从头开始训练ImageNet上的ViT-S/16，达到了23.7%的top-1错误率，与ResNet50相当，而无需进行大量的数据增强。

本文旨在提高深度神经网络（DNN）对各种图像破坏的鲁棒性，而不会影响其在干净图像上的准确性。

本文提出了一种新的数据增强方法——通过乘性扰动实现数据增强（DAMP），该方法在权重空间中优化DNNs，使其能够对各种破坏具有鲁棒性。

本文的实验结果表明，DAMP能够提高模型在各种破坏情况下的泛化性能，并且不需要进行复杂的数据增强。此外，本文还介绍了一种新的优化方法——自适应锐度感知最小化（ASAM），它可以在权重空间中优化DNNs，使其具有对抗性的乘性权重扰动的鲁棒性。

最近的相关研究包括对抗性训练和数据增强方法。其中一些相关论文包括："Exploring the Regularization of Adversarial Robustness"，"Adversarial Training Methods for Semi-Supervised Text Classification"和"Learning to Learn from Noisy Labeled Data"。