Towards Adversarially Robust Dataset Distillation by Curvature Regularization

数据集精简（DD）允许将数据集精简到原始大小的一小部分，同时保留丰富的分布信息，以便在精简后的数据集上训练的模型可以实现可比较的准确性，同时节省大量计算负载。最近在这个领域的研究集中在提高在精简数据集上训练的模型的准确性。在本文中，我们旨在探索DD的一个新视角。我们研究如何将对抗鲁棒性嵌入到精简的数据集中，以便在这些数据集上训练的模型保持高准确性的同时获得更好的对抗鲁棒性。我们提出了一种新的方法，通过将曲率正则化纳入到精简过程中，实现了这一目标，而且比标准对抗训练的计算开销要小得多。广泛的实证实验表明，我们的方法不仅在准确性和鲁棒性方面优于标准对抗训练，而且能够生成能够抵御各种对抗攻击的强大的精简数据集。

本文旨在研究如何在数据集蒸馏（DD）的过程中嵌入对抗性鲁棒性，以便在这些数据集上训练的模型保持高精度的同时获得更好的对抗性鲁棒性。

该论文提出了一种新的方法，通过将曲率正则化纳入蒸馏过程中，实现了对抗性鲁棒性的嵌入，与标准的对抗性训练相比，该方法具有更少的计算开销。

该方法不仅在精度和对抗性鲁棒性方面优于标准对抗性训练，而且能够生成能够抵御各种对抗性攻击的鲁棒性蒸馏数据集。实验使用了多个数据集进行验证，并开源了代码。

最近的相关研究包括：《Distilling the Knowledge in a Neural Network》、《Dataset Distillation》等。