DD-RobustBench: An Adversarial Robustness Benchmark for Dataset Distillation

数据集蒸馏是一种高级技术，旨在将数据集压缩成显著更小的对应物，同时保持强大的训练性能。人们已经付出了大量努力来促进在有限压缩比下的评估准确性，但忽视了蒸馏数据集的鲁棒性。在这项工作中，我们引入了一个全面的基准测试，据我们所知，这是迄今为止最广泛的评估蒸馏数据集对抗鲁棒性的基准测试。我们的基准测试通过包含更广泛的数据集蒸馏方法，包括最新的进展，如TESLA和SRe2L，更多样化的对抗攻击方法，以及在更广泛和更全面的数据集集合上进行评估，如ImageNet-1K，显著扩展了之前的努力。此外，我们评估了这些蒸馏数据集对抗PGD和AutoAttack等代表性对抗攻击算法的鲁棒性，同时从频率角度探讨了它们的韧性。我们还发现，将蒸馏数据合并到原始数据集的训练批次中可以提高鲁棒性。

本论文旨在通过综合评估数据集蒸馏的鲁棒性，解决数据集蒸馏中的一个被忽视的问题。

论文通过引入一种广泛的数据集蒸馏方法和广泛的对抗性攻击方法，评估了蒸馏数据集的鲁棒性，并发现将蒸馏数据集合并到原始数据集的训练批次中可以提高鲁棒性。

本文引入了一个全面的基准测试，包括广泛的数据集蒸馏方法、对抗攻击方法和更广泛的数据集集合，如ImageNet-1K。论文还发现将蒸馏数据集合并到原始数据集的训练批次中可以提高鲁棒性。

最近的相关研究包括：Differentiable Augmentation for Data-Efficient GAN Training、Adversarial Robustness Evaluation of Deep Learning Models with Limited Data、Adversarial Robustness as a Prior for Learned Representations等。