The Impact of Quantization on the Robustness of Transformer-based Text Classifiers

基于Transformer的模型在各种NLP领域取得了显著的进展。然而，这些模型在面对对抗攻击时往往表现出漏洞。在本文中，我们探讨了量化对Transformer模型的鲁棒性的影响。量化通常涉及将高精度实数映射到低精度值，旨在减小所处理的模型的大小。据我们所知，这项工作是将量化应用于NLP模型鲁棒性的首次尝试。在我们的实验中，我们评估了使用SST-2、情感和MR数据集的BERT和DistilBERT模型在文本分类中的量化对对抗攻击的影响。我们还评估了这些模型在TextFooler、PWWS和PSO对抗攻击下的表现。我们的研究结果表明，量化显著提高了模型的对抗准确性（平均提高了18.68%）。此外，我们比较了量化和对抗训练方法对模型鲁棒性的影响。我们的实验表明，与没有在训练期间施加任何额外计算开销的对抗训练相比，量化平均提高了模型18.80%的鲁棒性。因此，我们的结果突显了量化在提高NLP模型鲁棒性方面的有效性。

本文探索了量化对Transformer-based模型鲁棒性的影响。作者想验证量化是否可以提高NLP模型的鲁棒性，从而解决模型在面对对抗攻击时的脆弱性问题。

作者通过对BERT和DistilBERT模型进行量化，发现量化可以显著提高模型的对抗准确性（平均提高了18.68%）。相比于对抗训练方法，量化可以提高模型的鲁棒性18.80%而无需额外的计算开销。

本文是第一篇将量化应用于提高NLP模型鲁棒性的研究。作者在SST-2、Emotion和MR数据集上对模型进行了实验，并使用TextFooler、PWWS和PSO对抗攻击方法进行了评估。实验结果显示，量化可以显著提高模型鲁棒性，而且不需要额外的计算开销。值得关注的是，本文的实验结果可以为提高NLP模型鲁棒性提供新思路。

最近的相关研究包括《Adversarial Training Methods for Semi-Supervised Text Classification》和《BERT-Defense: A Probabilistic Perspective Against Adversarial Examples》。