GLCAN: Global-Local Collaborative Auxiliary Network for Local Learning

传统的深度神经网络通常使用端到端反向传播，这往往会给GPU内存带来很大的负担。另一种有前途的训练方法是局部学习，它涉及将网络分成块，并借助辅助网络并行训练它们。局部学习已经被广泛研究和应用于图像分类任务中，并且其性能与端到端方法相当。然而，不同的图像任务常常依赖于不同的特征表示，这对于典型的辅助网络来说是难以适应的。为了解决这个问题，我们提出了全局-局部协作辅助网络(GLCAN)的构建方法，为辅助网络提供了宏观设计方法。这是首次证明局部学习方法可以成功应用于其他任务，如目标检测和超分辨率。GLCAN不仅节省了大量GPU内存，而且在多个不同任务的数据集上具有与端到端方法相当的性能。

GLCAN试图解决的问题是在不同的图像任务中，传统的局部学习方法可能无法很好地适应不同的特征表示。作者提出了一种全局-局部协作辅助网络的构建方法，以提供辅助网络的宏观设计方法。

GLCAN的关键思路是将网络分成块并使用辅助网络并行训练。GLCAN通过引入全局网络来解决不同任务之间的特征表示问题，以及通过局部学习来节省GPU内存。

GLCAN是第一个成功将局部学习方法应用于目标检测和超分辨率等其他任务的论文。作者在多个数据集上进行了实验，并证明GLCAN不仅可以节省大量GPU内存，而且在多个任务的数据集上具有与端到端方法相当的性能。此外，作者还提供了开源代码。

最近在这个领域中，也有一些其他的局部学习方法被提出，例如Local Aggregation和Local Deep Descriptor。