Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness

之前的神经结构搜索（NAS）对于对抗鲁棒性的研究发现，一个轻量级且对抗鲁棒的神经网络结构可以存在于一个非鲁棒的大型“教师”网络中，通常通过统计分析和神经结构搜索的启发式规则进行披露。然而，启发式方法无法统一处理不同的对抗攻击和“教师”网络容量。为了解决这个挑战，我们提出了一种用于多功能对抗鲁棒性的强化压缩神经结构搜索（RC-NAS）。具体来说，我们定义了包括数据集、对抗攻击和“教师”网络信息的任务设置。针对不同的任务，我们进行了一种新颖的双层训练范式，包括元训练和微调阶段，以有效地让RL代理暴露于不同的攻击场景（在元训练中），并使其快速适应以定位到任何以前未见过的场景的子网络（在微调中）。实验表明，我们的框架可以实现对不同初始“教师”网络、数据集和对抗攻击的自适应压缩，从而产生更轻量级和对抗鲁棒的架构。

本论文旨在解决轻量级且对抗鲁棒的神经网络架构搜索的问题，这个问题在以往的神经架构搜索中被发现。然而，传统的启发式方法无法处理不同的对抗攻击和'教师'网络容量，因此需要一种新的解决方案。

本论文提出了一种强化压缩神经架构搜索（RC-NAS）的解决方案，以实现多功能对抗鲁棒性。该方案包括两个阶段的双重训练范式，即元训练和微调阶段，以有效地将RL代理暴露于不同的攻击场景（在元训练中），并使其快速适应以定位子网络（在微调中）以应对任何以前未见过的场景。

本论文的亮点包括：1.提出了一种新的解决方案来处理不同的对抗攻击和'教师'网络容量；2.使用了双重训练范式，即元训练和微调阶段，以实现多功能对抗鲁棒性；3.实验结果表明，该框架可以实现对不同初始教师网络、数据集和对抗攻击的自适应压缩，从而产生更轻量级和对抗鲁棒性更强的架构。

最近在这个领域中，还有一些相关的研究，如：1. Adversarial Robustness via Gradient Smoothing Regularization；2. Adversarial Training for Free！；3. Adversarial Robustness by Design with Structured Transformations。