Nearest is Not Dearest: Towards Practical Defense against Quantization-conditioned Backdoor Attacks

模型量化被广泛用于压缩和加速深度神经网络，但最近的研究揭示了通过植入量化条件后门（QCBs）实现武器化的可行性。这些特殊的后门在发布的全精度模型上保持休眠状态，但在标准量化后会生效。由于QCB的特殊性，现有的防御对于减少它们的威胁有较小的影响甚至是不可行的。本文首次对QCB进行了深入分析。我们揭示了现有QCB的激活主要源于最近的舍入操作，并与神经元级截断误差的范数（即连续的全精度权重与其量化版本之间的差异）密切相关。在这些见解的推动下，我们提出了一个对QCBs有效且实用的防御方法，即基于误差引导的翻转舍入策略与激活保留（EFRAP）。具体而言，EFRAP学习了一种非最近舍入策略，以神经元误差范数和层激活保留指导为基础，翻转了对后门效果至关重要但对干净精度影响最小的神经元的舍入策略。在基准数据集上进行的广泛评估表明，我们的EFRAP可以在各种设置下击败最先进的QCB攻击。代码可在https://github.com/AntigoneRandy/QuantBackdoor_EFRAP上获得。

本文旨在解决模型量化后潜在的后门攻击问题，提出了一种有效的防御方法。

本文提出了一种名为EFRAP的防御方法，该方法通过学习一种非最近舍入策略，结合神经元误差范数和层激活保持指导，在保证对干净样本准确率影响最小的情况下，翻转后门攻击神经元的舍入策略。

本文的实验结果表明，EFRAP可以在各种设置下击败最先进的QCB攻击。此外，本文开源了代码，并使用了基准数据集。

最近的相关研究包括：《Stealthy Backdoors as Compression Artifacts》、《Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks》等。