论文标题：BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search 论文链接：https://arxiv.org/abs/2103.12424 代码链接：https://github.com/changlin31/BossNAS 作者单位：蒙纳士大学 & 中山大学 & 暗物智能 & 牛津大学 & 阿里巴巴

表现SOTA！性能优于TNT、BoTNet、DeiT和ViT等网络，代码刚刚开源！

用于视觉识别的手工神经体系结构在近期取得了无数突破，这突显了迫切需要探索由多种构建模块组成的混合体系结构。同时，神经体系结构搜索方法正在激增，以减少人们的工作量。但是，NAS方法是否可以有效地处理具有不同候选对象（例如CNN和Transformer）的多样化搜索空间，仍然是一个悬而未决的问题。在这项工作中，我们提出了逐块自监督的神经体系结构搜索（BossNAS），这是一种无监督的NAS方法，解决了以前的方法中由于权重共享空间大和监督偏差而导致的体系结构评级不准确的问题。更具体地说，我们将搜索空间分解为块，并使用一种名为“ensemble bootstrapping”的新颖的自监督训练方案来分别训练每个块，然后将其整体搜索到人口中心。此外，我们提出了HyTra搜索空间，这是一种具有可搜索的下采样位置的类似织物的混合CNN-Transformer搜索空间。在这个充满挑战的搜索空间中，我们的搜索模型BossNet-T在ImageNet上实现了高达82.2％的准确度，在可比的计算时间上超过了EfficientNet 2.1％。此外，我们的方法在使用ImageNet的标准MBConv搜索空间和使用CIFAR-100的NATS-Bench尺寸搜索空间上分别具有0.78和0.76 Spearman相关性，从而达到了卓越的架构评级精度，超过了最新的NAS方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除