Understanding Robustness of Visual State Space Models for Image Classification

Visual State Space Model (VMamba)是一种新兴的架构，在各种计算机视觉任务中表现出卓越的性能，但其鲁棒性尚未得到全面研究。本文从多个角度深入探讨了该架构的鲁棒性。首先，我们研究了VMamba对抗攻击的鲁棒性，采用了整个图像和特定区域的对抗攻击。结果表明，相比Transformer架构，VMamba表现出更强的对抗攻击鲁棒性，但也揭示了其可伸缩性的弱点。其次，我们评估了VMamba在不同情况下的一般鲁棒性，包括自然对抗样本、分布外数据和常见失真。VMamba表现出优异的分布外数据泛化能力，但在面对自然对抗样本和常见失真时也表现出可伸缩性的弱点。此外，我们还探索了VMamba在白盒攻击中的梯度和反向传播，揭示了其新组件的独特漏洞和防御能力。最后，我们还研究了VMamba对图像结构变化的敏感性，突出了与扰动区域和空间信息分布相关的漏洞，且越靠近图像中心，易受攻击的敏感度越高。通过这些全面的研究，我们为深入了解VMamba的鲁棒性做出了贡献，并为改进和推进计算机视觉应用中深度神经网络的能力提供了有价值的见解。

本论文旨在通过多个角度的全面研究，探讨Visual State Space Model（VMamba）在计算机视觉任务中的鲁棒性。

VMamba相对于Transformer架构具有更强的对抗性鲁棒性，但在可扩展性方面存在弱点。同时，VMamba在面对不同的情况时展现出出色的泛化能力，但在面对自然对抗样本和常见污染时存在可扩展性弱点。此外，论文还探讨了VMamba在白盒攻击中的梯度和反向传播，揭示了其新组件的独特漏洞和防御能力。最后，论文还研究了VMamba对图像结构变化的敏感性。

论文通过实验验证了VMamba相对于Transformer架构具有更强的对抗性鲁棒性，并展现出出色的泛化能力。论文还探讨了VMamba在白盒攻击中的梯度和反向传播，揭示了其新组件的独特漏洞和防御能力。此外，论文还研究了VMamba对图像结构变化的敏感性。

在这个领域中，最近的相关研究包括：《Attention Is All You Need》、《Explaining and Harnessing Adversarial Examples》、《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》等。