论文标题：Dynamic Slimmable Network 论文链接：https://arxiv.org/abs/2103.13258 代码链接：https://github.com/changlin31/DS-Net 作者单位：蒙纳士大学 & 牛津 & 阿里 & 中山大学

硬件友好型的动态剪枝网络，表现SOTA！性能优于AutoSlim、MSDNet等方法，代码即将开源！

当前的动态网络和动态剪枝方法已显示出在降低理论计算复杂性方面的有前途的功能。但是，由于索引，权重复制或零掩码的额外负担，卷积滤波器上的动态稀疏模式无法实现实际的加速。在这里，我们探讨了一种动态网络slimmable机制，称为Dynamic Slimmable Network （DS-Net），其目的是通过在测试时针对不同的输入动态调整网络的过滤器数量，同时保持过滤器的静态存储和动态存储来实现良好的硬件效率。在硬件上连续地进行，以防止额外的负担。我们的DS-Net具有提出的双头动态门，具有动态推理能力，该双头动态门包括注意头和瘦身头，以可预测的方式调整网络宽度，而额外的计算成本却可以忽略不计。为了确保每种候选架构的通用性和门的公平性，我们提出了一种由one-shotNAS启发的纠缠式两阶段训练方案。在第一阶段，提出了一种新的权重共享网络训练技术，即就地整体自举，以提高超网训练的效率。在第二阶段，提出了Sandwich Gate Sparsification，以在线方式识别容易和困难的样本，从而帮助进行门的训练。广泛的实验表明，我们的DS-Net始终比其静态同类产品以及最新的静态和动态模型压缩方法大幅度提高（最高5.9％）。通常，与ResNet-50和MobileNet相比，DS-Net可以减少2-4倍的计算量，而在1.62倍的实际速度下，ImageNet上的精度下降最少。

内容中包含的图片若涉及版权问题，请及时与我们联系删除