PartImageNet++ Dataset: Scaling up Part-based Models for Robust Recognition

基于深度学习的物体识别系统很容易被各种对抗性扰动所欺骗。其中一个原因是它们没有像人类识别过程那样的基于部分的归纳偏差。受此启发，已经提出了几种基于部分的识别模型来提高识别的对抗鲁棒性。然而，由于缺乏部分注释，这些方法的有效性只在小规模的非标准数据集上得到了验证。在这项工作中，我们提出了PIN++，即PartImageNet++，这是一个为ImageNet-1K（IN-1K）的所有类别提供高质量部分分割注释的数据集。利用这些注释，我们直接在标准的IN-1K数据集上构建了基于部分的方法来进行鲁棒识别。与之前的两阶段基于部分的模型不同，我们提出了一种多尺度部分监督模型（MPM），用于学习具有部分注释的鲁棒表示。实验证明，MPM在各种攻击设置下在大规模IN-1K上取得了比强基线更好的对抗鲁棒性。此外，MPM在常见的失真和几个超出分布的数据集上实现了改进的鲁棒性。这个数据集以及这些结果使研究人员能够鼓励探索基于部分的模型在更多实际应用中的潜力。

本文旨在解决深度学习模型在面对各种对抗性扰动时的弱鲁棒性问题，提出了一种基于部件的识别模型，并提供了针对ImageNet-1K数据集的高质量部分分割注释，以便于研究人员在更真实的应用中探索部分模型的潜力。

本文提出了一种多尺度部分监督模型（MPM），通过使用部件注释来学习鲁棒性表示，从而提高了对抗性攻击和常见污染的鲁棒性。

本文提供了一个名为PartImageNet++的数据集，其中包含了ImageNet-1K所有类别的高质量部分分割注释，供研究人员使用。实验表明，MPM在各种攻击设置下都比强基线模型具有更好的鲁棒性，并在常见污染和几个超出分布的数据集上实现了改进。

近期的相关研究包括：《Adversarial Examples Are Not Bugs, They Are Features》、《Towards Deep Learning Models Resistant to Adversarial Attacks》、《Explaining and Harnessing Adversarial Examples》等。