NoiSec: Harnessing Noise for Security against Adversarial and Backdoor Attacks

机器学习的指数级采用正在推动世界进入智能自动化和数据驱动解决方案的未来。然而，针对机器学习的恶意数据操纵攻击，即对抗和后门攻击，不断增多，危及其在安全关键应用中的可靠性。现有的针对此类攻击的检测方法基于假设，限制了它们在各种实际场景中的应用。因此，出于需要更强大和统一的防御机制的动机，我们研究了对抗和后门攻击的共同特点，并提出了 NoiSec，它仅利用噪声（这些攻击的根本原因）来检测任何恶意数据更改。NoiSec是一种基于重构的检测器，它将噪声从测试输入中分离出来，从噪声中提取潜在特征，并利用它们来识别系统性的恶意操纵。在 CIFAR10 数据集上进行的实验评估表明，NoiSec 的有效性得到了证明，其在白盒和黑盒对抗攻击下分别实现了超过 0.954 和 0.852 的 AUROC 得分，并在后门攻击方面实现了 0.992 的得分。值得注意的是，NoiSec 保持了高检测性能，仅将误报率保持在 1\% 以内。与基于 MagNet 的基线的比较分析揭示了 NoiSec 在各种攻击场景下的优越性能。

本篇论文旨在解决机器学习中对抗性攻击和后门攻击的问题，提出了一种仅利用噪声来检测数据篡改的方法。

NoiSec是一种基于重构的检测器，从测试输入中分离出噪声，提取噪声中的基础特征，并利用这些特征来识别系统性的恶意篡改。

实验结果表明，NoiSec在白盒和黑盒对抗攻击下的AUROC分数均超过0.954和0.852，并且对后门攻击的检测效果也非常好，达到了0.992。此外，与MagNet-based基线的比较分析表明，NoiSec在各种攻击场景下的性能优于其他方法。

在这个领域中，最近的相关研究包括：Towards Evaluating the Robustness of Neural Networks，Adversarial Examples Are Not Bugs, They Are Features，Detecting Adversarial Attacks on Neural Network Policies with Visual Foresight等。