The Impact of Uniform Inputs on Activation Sparsity and Energy-Latency Attacks in Computer Vision

资源效率在现今的机器学习中扮演着重要的角色。能源和决策延迟是确保可持续和实用应用的两个关键方面。不幸的是，能源消耗和决策延迟并不具有抵抗攻击的鲁棒性。研究人员最近已经证明，攻击者可以在推理时间计算和提交所谓的海绵示例，以增加神经网络的能量消耗和决策延迟。在计算机视觉领域，所提出的策略可以制作具有较少激活稀疏性的输入，否则可以用于加速计算。在本文中，我们分析了这些能量-延迟攻击如何降低激活稀疏性的机制。特别是，我们发现输入均匀性是关键因素。一个均匀的图像，即一个大部分是平坦的、颜色均匀的表面的图像，由于卷积、批量归一化和ReLU激活的特定相互作用，会触发更多的激活。基于这些见解，我们提出了两种新的简单而有效的策略来制作海绵示例：从概率分布中采样图像和在自然数据集中识别密集但不显眼的输入。我们在多个图像分类模型的全面评估中经验性地检验了我们的发现，并展示了我们的攻击实现了与之前的海绵示例方法相同的稀疏效果，但计算成本仅为一小部分。我们还展示了我们的海绵示例在不同的神经网络之间转移的能力。最后，我们讨论了我们的研究成果对于通过增加稀疏性来提高效率的好处的应用。

本论文旨在解决机器学习中的资源效率问题，特别是能源消耗和决策延迟受到对手攻击的问题。作者分析了攻击者如何通过计算和提交所谓的海绵样例来降低神经网络的激活稀疏性，从而提高能源消耗和决策延迟。作者试图找出这些攻击如何减少激活稀疏性的机制。

本文的关键思路是通过分析输入图像的均匀性，提出了两种新的制作海绵样例的简单而有效的策略：从概率分布中采样图像和在自然数据集中识别密集但不显眼的输入。作者还发现，均匀图像触发了卷积、批量归一化和ReLU激活之间的特定相互作用，从而导致更多的激活。

本文的亮点是通过实验评估多个图像分类模型，展示了新的攻击策略可以达到与之前的海绵样例方法相同的稀疏效果，但计算成本只有一小部分。此外，作者还展示了海绵样例的转移性，并探讨了如何通过提高稀疏性来提高效率的应用。

在这个领域最近的相关研究包括：Adversarial Examples Are Not Bugs, They Are Features（ICLR 2020）和Generating Adversarial Examples with Adversarial Networks（ICLR 2018）。