【论文标题】Maximum-Entropy Adversarial Data Augmentation for Improved Generalization and Robustness 【作者团队】Long Zhao, Ting Liu, Xi Peng, Dimitris Metaxas 【发表时间】2020/10/15 【论文链接】https://arxiv.org/abs/2010.08001 【参考链接】https://github.com/garyzhao/ME-ADA 【推荐理由】 本文收录于NeurIPS 2020，其首次从信息论的角度应用信息瓶颈理论提出一种基于最大熵对抗性数据增强的正则化项以提高模型在训练期间的泛化能力和鲁棒性。 对抗性数据增强已经显示出训练鲁棒的深层神经网络对抗不可预见的数据转移或破坏的前景。然而，很难定义启发式方法来生成有效的虚拟目标分布，该分布包含与源分布有很大不同的“硬”对抗扰动。基于此，本文提出一种新颖而有效的对抗性数据增强正则化项，用于对抗性数据增强。从理论上推导出信息瓶颈原理以得出最大熵公式。进而，该正则化项通过鼓励扰动潜在的源分布，以扩大当前模型的预测不确定性，使得生成的“硬”对抗扰动可以在训练期间提高模型的鲁棒性。在三个标准基准上的实验结果表明，该方法在统计数值方面始终显著优势优于现有方法。 图1：最大熵对抗数据增强（ME-ADA）算法

内容中包含的图片若涉及版权问题，请及时与我们联系删除