论文标题：Reversible Column Networks

论文链接：https://arxiv.org/abs/2212.11696

代码链接：https://github.com/megvii-research/RevCol

作者单位：旷视科技

本文提出了一种新的神经网络设计范式：可逆column网络（RevCol）。RevCol的主体由多个子网络的副本组成，分别命名为 columns，它们之间采用了多级可逆连接。这样的架构方案属性RevCol与传统网络非常不同的行为：在前向传播/正向传播期间，RevCol中的特征在通过每个 columns时被学习到逐渐解开，其总信息被保持而不是像其他网络那样被压缩或丢弃。我们的实验表明，CNN风格的RevCol模型可以在多个计算机视觉任务上获得非常有竞争力的性能，如图像分类、目标检测和语义分割，特别是在大参数预算和大数据集的情况下。例如，经过ImageNet-22K预训练，RevCol-XL获得88.2%的ImageNet-1K准确率。给出更多的预训练数据，我们最大的模型RevCol-H在ImageNet-1K上达到90.0%，在COCO检测小型集上达到63.8%APbox，在ADE20k分割上达到61.0%mIoU。据我们所知，它是纯（静态）CNN模型中最好的COCO检测和ADE20k分割结果。此外，作为一种通用的宏架构时尚，RevCol还可以引入Transformer或其他神经网络，这被证明可以提高计算机视觉和NLP任务的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除