论文链接：https://arxiv.org/abs/2111.00687

codes: https://github.com/fxmeng/RMNet

 

尽管残差连接有助于极深网络训练，但其多分支拓扑结构不利于在线推理 。这也就促使了诸多研究员设计推理时无残差连接的CNN模型。比如，RepVGG将训练时的多分支结构重参数为推理时的单分支类VGG结构，当网络相对浅时表现出了非常优异性能 。然而，RepVGG无法将ResNet等价转换为类VGG结构，这是因为重参数机制仅适用于线性模块 ，而将非线性层置于残差连接之外则会导致有限的表达能力，对于极深网络影响尤为严重。

本文旨在解决上述问题，在ResBlock上实施RM(Reserving and Merging, RM)操作移除残差连接 ，将ResNet等价转换为类VGG架构 。作为一种“plug-in”方案，RM具有以下三个优势：

  • 其实现方式天然的对高比例网络剪枝友好；

  • 有助于打破RepVGG的深度限制

  • 取得了更好的精度-速度均衡。

内容中包含的图片若涉及版权问题，请及时与我们联系删除