原班人马对MetaFormer进行了进一步的探索：依托MetaFormer引入了最基本的Mixer，提出了4个基线模型且都取得了相当不错的效果。

图片

MetaFormer论文链接：https://arxiv.org/abs/2210.13452

MetaFormer：https://github.com/sail-sg/metaformer

PoolFormer论文链接：https://arxiv.org/abs/2111.11418

PoolFormer：https://github.com/sail-sg/poolformer

Transformer在CV领域的成功到底是什么呢？最近两年来各种Transformer与MLP架构设计意义真的有那么大呢？

近日，原班人马对MetaFormer进行了进一步的探索：依托MetaFormer引入了最基本的Mixer，提出了几个基线模型并取得了喜人的性能，得出以下几个发现：

  • MetaFormer确保了模型的性能下限：当采用Identity作为Mixer时(IdentityFormer)时，取得了＞80%的精度；

  • MetaFormer对任意Mixer均表现良好：甚至采用随机矩阵进行Mixer(RandFormer)时，模型仍可取得＞81%的精度；

MetaFormer可以毫不费力的达成SOTA指标：(1) 当采用深度分离卷积进行Mixer(ConvFormer，可视作纯CNN方案)，具有比ConvNeXt更佳的性能；(2) 当在bottom阶段使用深度分离卷积，在top阶段使用普通自注意力时(CAFormer)，模型取得了新的SOTA指标85.5%(尺寸测试，无需额外数据或蒸馏)。

 

阅读详情

内容中包含的图片若涉及版权问题，请及时与我们联系删除