PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution

最近，一些大型卷积神经网络以出色的性能和效率反击回来。然而，由于卷积的平方复杂度，扩大内核可能会带来大量的参数，这些参数可能会导致严重的优化问题。由于这些问题，当前的卷积神经网络在条纹卷积（即51x5 + 5x51）的形式下妥协扩展到51x51，并且随着内核大小的继续增长而开始饱和。在本文中，我们深入探讨了这些重要问题，并探索是否可以继续扩展内核以获得更好的性能增益。受人类视觉的启发，我们提出了一种类似于人类周边视觉的卷积方法，通过参数共享有效地减少了密集网格卷积的90%以上的参数数量，并成功地将内核大小扩展到极大。我们的周边卷积行为与人类非常相似，将卷积的复杂度从O（K ^ 2）降低到O（logK），而不会反弹性能。在此基础上，我们提出了参数高效的大内核网络（PeLK）。我们的PeLK在各种视觉任务中，包括ImageNet分类，ADE20K上的语义分割和MS COCO上的目标检测，都优于现代视觉Transformer和ConvNet架构，如Swin，ConvNeXt，RepLKNet和SLaK。我们首次成功将CNN的内核大小扩展到前所未有的101x101，并展示了一致的改进。

论文旨在解决卷积神经网络中参数数量随着卷积核大小增加而急剧增加的问题，同时探索是否可以继续扩大卷积核以获得更好的性能。

论文提出了类似于人类视觉的周边卷积方法，通过参数共享有效地减少了密集网格卷积的参数数量，并成功将卷积核大小扩展到101x101，同时在各种视觉任务上取得了比现有模型更好的性能。

论文的实验设计包括使用ImageNet、ADE20K和MS COCO等数据集进行图像分类、语义分割和目标检测任务。论文提出的周边卷积方法能够将卷积的复杂度从O(K^2)降低到O(logK)，并且在各种任务上都表现出色，超过了现有的多种模型。此外，论文还开源了代码。

最近的相关研究包括Swing、ConvNeXt、RepLKNet和SLaK等卷积神经网络模型。