作者：Guo-Jun Qi, Mubarak Shah

简介：本文是自监督深度网络的对抗性预训练的综述。在本文中，作者回顾了自监督深度网络的对抗性预训练，包括卷积神经网络和视觉转换器。与可以访问标记示例的对抗训练不同，对抗预训练很复杂，因为它只能访问未标记示例。为了将对手纳入输入或特征级别的预训练模型，作者发现现有方法主要分为两组：对单个示例施加最坏情况扰动的无内存实例攻击，以及跨示例共享的基于内存的对手迭代。特别是，作者分别回顾了基于对比学习 (CL) 和掩码图像建模 (MIM) 的多个具有代表性的对抗性预训练模型，这是文献中两种流行的自监督预训练方法。作者还回顾了有关计算开销、输入/特征级对手以及上述两组之外的其他对抗性预训练方法的杂项问题。最后，作者讨论了对抗性和合作性预训练之间的关系、统一对抗性 CL 和 MIM 预训练以及对抗性预训练中准确性和鲁棒性之间的权衡的新兴趋势和未来方向。

论文下载：https://arxiv.org/pdf/2210.13463.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除