【论文标题】Robust Pre-Training by Adversarial Contrastive Learning 【作者团队】Ziyu Jiang, Tianlong Chen, Ting Chen, Zhangyang Wang 【发表时间】2020/10/26 【论文链接】https://arxiv.org/pdf/2010.13337.pdf 【代码链接】https: //github.com/VITA-Group/Adversarial-Contrastive-Learning

【推荐理由】 本文已被 NeurIPS 2020 接收，作者设计了一个对偶的对抗性训练框架，将对抗性训练与 SimCLR 相融合，有效提升了模型的标签利用率和鲁棒性。

近期的一些研究工作表明，将对抗性训练融入到自监督预训练过程中可以实现目前最佳的模型鲁棒性。在本文中，作者通过学习在数据增强与对抗性扰动情况下保持一致的表征，来改进具有鲁棒性的自监督预训练。本文提出的方法使用了近期发布的对比学习框架 SimCLR，它通过最大化在不同增强视角下的特征一致性来学习表征。这十分符合对抗鲁棒性的目标，因为对抗性学习由于缺乏特征不变性（即微小的输入扰动会导致特征中甚至是预测标签上的不良变化）而十分脆弱。本文作者研究了多种形式化定义对比任务的设置，证明了通过将对抗性扰动引入对比预训练，可以得到标签利用率高且鲁棒的模型。作者通过实验评估了他们所提出的对抗性对比学习（ACL）的性能，该模型的性能一直现有的方法。例如，在 CIFAR-10 数据集上，ACL 的性能要比现有的最佳的鲁棒预训练方法在鲁棒准确率上高出 2.99%，在标准从准确率上高出 2.14%。此外，作者还证明了，即使在有标签示例极少的情况下，ACL 预训练也可以提升半监督对抗性训练的性能。

图 1：对抗性对比学习示意图
具体而言，作者在本文中比较了(a)不涉及对抗性攻击的「标准到标准」（S2S）原始 SimCLR 框架；(b)「对抗性样本到对抗性样本」（A2A）框架；(c)「对抗性样本到标准样本」（A2S）框架；(d)对偶工作流模型。请注意，当多个编码器共存于同一个阿坤国家中时，它们默认共享所有的权值，我们期望对抗性编码器和标准编码器可以使用独立的 BN 参数。