AdaNCA: Neural Cellular Automata As Adaptors For More Robust Vision Transformer

本文介绍了一种名为“Adaptor Neural Cellular Automata（AdaNCA）”的新型神经网络模型，它将“Neural Cellular Automata（NCA）”作为插件适配器嵌入到“Vision Transformer（ViT）”层之间，以提高ViT的性能和鲁棒性，特别是对抗样本和分布外输入的鲁棒性。相比于使用区域注意力或卷积等方法来提高不同粒度特征聚合的ViT，NCA通过局部交互实现全局细胞表示的建模，其训练策略和架构设计赋予了强大的泛化能力和抗噪声输入的鲁棒性。为了克服标准NCA的大量计算开销，本文提出了一种名为“Dynamic Interaction”的更高效的交互学习方法。此外，本文还开发了一种算法，根据对AdaNCA放置和鲁棒性提高的分析，确定AdaNCA的最有效插入点。在ImageNet1K基准测试中，AdaNCA仅增加不到3%的参数，就使准确率在对抗攻击下提高了10%以上。此外，通过对8个鲁棒性基准测试和4个ViT架构的广泛评估，本文证明了AdaNCA作为插件模块，可以持续提高ViT的鲁棒性。

本文旨在提高Vision Transformer（ViT）在对抗攻击和ODI输入方面的性能和鲁棒性，通过将神经元细胞自动机（NCA）作为插件适配器插入ViT层之间来实现。

Adaptor Neural Cellular Automata（AdaNCA）可以增强ViT的性能和鲁棒性，同时使用动态交互来降低计算成本。

AdaNCA可以在ImageNet1K基准测试中提高10%的对抗攻击下的准确性，并在8个鲁棒性基准测试和4个ViT架构上进行了全面评估。论文提出了一种算法来确定AdaNCA的最有效插入点。

最近的相关研究包括使用其他方法来提高ViT的性能和鲁棒性，例如使用注意力机制或卷积层。