AdaAugment: A Tuning-Free and Adaptive Approach to Enhance Data Augmentation

数据增强（DA）被广泛应用于提高深度模型的泛化性能。然而，大多数现有的DA方法在训练过程中使用具有随机幅度的增强操作。虽然这种方法可以增加多样性，但也不可避免地会引入未受控制的变异性，可能会导致与目标模型的不断演变的训练状态不一致。理论和实证研究表明，这种不一致会增加欠拟合和过拟合的风险。为了解决这些限制，我们提出了AdaAugment，一种创新且无需调整的自适应增强方法，利用强化学习根据目标网络的实时反馈动态调整个别训练样本的增强幅度。具体而言，AdaAugment具有双模型架构，包括策略网络和目标网络，二者共同优化以有效地适应增强幅度。策略网络优化增强数据中的可变性，而目标网络利用自适应增强样本进行训练。在基准数据集和深度架构上进行的大量实验表明，AdaAugment在效果上始终优于其他最先进的DA方法，同时保持了显着的效率。

解决问题：论文旨在解决数据增强方法中存在的随机性和不可控性问题，提出一种基于强化学习的自适应数据增强方法。

关键思路：提出一种双模型架构，包括策略网络和目标网络，通过强化学习动态调整数据增强的幅度，使增强后的数据更符合目标模型的训练状态。

亮点：AdaAugment方法相比其他数据增强方法表现更好，并且无需手动调参；实验结果表明该方法在多个基准数据集和深度网络上均有显著提升；论文提供了开源代码。

相关研究：最近的相关研究包括Cutout、AutoAugment等数据增强方法，以及使用强化学习来优化深度学习模型的研究。