Robust Pre-Training by Adversarial Contrastive Learning

论文链接：https://arxiv.org/abs/2010.13337 代码链接：https://github.com/VITA-Group/Adversarial-Contrastive-Learning

本文利用对比学习和自监督的预训练来增强网络的对抗性，表现SOTA！代码刚刚开源！作者单位：德克萨斯A&M大学, 谷歌大脑等

最近的工作表明，与对抗性训练结合使用时，自监督的预训练可以带来最先进的鲁棒性。在这项工作中，我们通过学习一致的表示形式来提高鲁棒性的自监督的预训练在数据增广和对抗性扰动下我们的方法利用了最新的对比学习框架，该框架通过在不同增强视图下最大化特征一致性来学习表示。这特别适合对抗鲁棒性的目标，因为对抗脆弱性的一个原因是缺乏特征不变性，即，小的输入扰动会导致特征发生不期望的大变化，甚至无法预测标签。我们探索了各种选择来制定对比任务，并证明通过注入对抗性扰动，对比预训练可以生成既高效又健壮的模型。我们根据经验评估了提出的对抗性学习（ACL），并表明它可以始终胜过现有方法。例如，在CIFAR-10数据集上，ACL的性能优于先前的最新无监督鲁棒性预训练方法，鲁棒性精确度为2.99％，标准精度为2.14％。我们进一步证明，即使只有几个标记的示例可用，ACL预训练也可以改善半监督对抗训练。

内容中包含的图片若涉及版权问题，请及时与我们联系删除