MicroNet: Towards Image Recognition with Extremely Low FLOPs 论文链接：https://arxiv.org/abs/2011.12289 本文提出Micro-Factorized卷积，将点和深度卷积分解为低秩矩阵，并提出新的激活函数，称为Dynamic Shift-Max，表现SOTA！性能优于GhostNet、MobileNetV3等网络，作者单位：加州大学圣迭戈分校, 微软

在本文中，我们介绍了MicroNet，它是一种高效的卷积神经网络，使用极低的计算成本（例如ImageNet分类中的6个MFLOP）。在边缘设备上非常需要这样的低成本网络，但是通常会遭受明显的性能下降。我们基于两个设计原则来处理极低的FLOPs：（a）通过降低节点连接性来避免网络宽度的减小；（b）通过在每层引入更复杂的非线性来补偿网络深度的减小。首先，我们提出Micro-Factorized卷积，将点和深度卷积分解为低秩矩阵，以便在通道数量和输入/输出连接性之间取得良好的平衡。其次，我们提出了一个新的激活函数，称为Dynamic Shift-Max，以通过最大化输入特征图与其圆形通道移位之间的多次动态融合来改善非线性。融合是动态的，因为它们的参数适用于输入。基于Micro-Factorized卷积和动态Shift-Max，MicroNet系列在低FLOPs体制下比现有技术具有显著的性能提升。例如，MicroNet-M1在12个MFLOP的ImageNet分类中达到了61.1％的top-1精度，比MobileNetV3高出11.3％。

内容中包含的图片若涉及版权问题，请及时与我们联系删除