华为诺亚提出PyramidTNT：使用金字塔架构改进TNT Baselines

本文引入两种方法来改进TNT(Transformer-in-Transformer)基线：1）金字塔架构，和 2）卷积stem，以创建新的PyramidTNT！性能表现SOTA！代码刚刚开源！

标题：PyramidTNT: Improved Transformer-in-Transformer Baselines with Pyramid Architecture单位：华为诺亚实验室
代码：https://github.com/huawei-noah/CV-Backbones/tree/master/tnt_pytorch
论文：https://arxiv.org/abs/2201.0097

Transformer 网络在计算机视觉任务方面取得了很大进展。Transformer-in-Transformer (TNT) 架构利用内部Transformer和外部Transformer来提取局部和全局表示。

在这项工作中，我们通过引入两种先进的设计来展示新的 TNT 基线：

1）金字塔架构

2）卷积stem。

新的“PyramidTNT”通过建立分层表示显著改进了原始TNT。