SpiralMLP: A Lightweight Vision MLP Architecture

我们提出了 SpiralMLP，这是一种新颖的架构，引入了 Spiral FC 层，作为传统的 Token Mixing 方法的替代品。与几个现有的基于 MLP 的模型主要强调轴不同，我们的 Spiral FC 层被设计为一个带有螺旋状偏移的可变形卷积层。我们进一步将 Spiral FC 适应为两个变体：Self-Spiral FC 和 Cross-Spiral FC，它们能够无缝地实现局部和全局特征集成，消除了额外的处理步骤。为了彻底研究螺旋状偏移的有效性并验证我们的设计，我们进行了消融研究并探索了最佳配置。在实证测试中，SpiralMLP 在 ImageNet-1k、COCO 和 ADE20K 上的表现达到了与 Transformers、CNNs 和其他 MLPs 相当的最先进水平。SpiralMLP 仍然保持线性计算复杂度 O(HW)，并且与不同的输入图像分辨率兼容。我们的研究揭示了针对完整的接受域并非实现高性能所必需，相反，采用精细的方法可以获得更好的结果。

论文旨在提出一种新的神经网络架构SpiralMLP，以解决图像分类等任务中的问题。具体而言，该论文试图验证采用螺旋形偏移的Spiral FC层是否能够代替传统的Token Mixing方法，实现更好的特征整合和分类准确性。

论文的关键思路是设计一种新的神经网络层Spiral FC层，它采用螺旋形偏移来实现特征整合。与其他基于MLP的模型不同，Spiral FC层能够无缝地整合局部和全局特征，从而实现更好的分类准确性。

论文的实验结果表明，SpiralMLP在ImageNet-1k、COCO和ADE20K等数据集上达到了与Transformers、CNNs和其他MLPs相当的性能水平，并且仍保持O(HW)的线性计算复杂度。此外，论文还进行了消螺旋偏移和优化配置的实验，以验证Spiral FC层的有效性。论文没有开源代码。

在最近的相关研究中，也有一些关于使用MLP进行图像分类的论文，如MLP-Mixer、ResMLP等。