Cooperative Meta-Learning with Gradient Augmentation

Model agnostic meta-learning（MAML）是最广泛使用的基于梯度的元学习之一，由内部循环和外部循环组成。MAML通过内部更新从元初始化参数中学习新任务，并在外部循环中找到元初始化参数。一般来说，将噪声注入模型的梯度以增强梯度是最常用的正则化方法之一。在这项工作中，我们提出了一种新颖的合作元学习框架，称为CML，它利用梯度级别的正则化和梯度增强。我们将可学习的噪声注入模型的梯度中以实现模型的泛化。CML的关键思想是引入无内部更新但进行外部循环更新以增强梯度以找到更好的元初始化参数的共同学习者。由于共同学习者不在内部循环中进行更新，因此在元训练后可以轻松删除。因此，CML只使用元学习器进行推理，无需额外成本和性能降低。我们证明了CML易于应用于基于梯度的元学习方法，并且CML在少样本回归、少样本图像分类和少样本节点分类任务中具有更高的性能。我们的代码位于https://github.com/JJongyn/CML。

本文旨在提出一种新的合作元学习框架CML，结合梯度级别的正则化和梯度增强，以提高元初始化参数的性能。

CML引入了一个无内部更新但有外部循环更新的合作者来增强梯度，从而提高元初始化参数的性能。

CML是一种易于应用于基于梯度的元学习方法的元学习框架，可以用于少样本回归、少样本图像分类和少样本节点分类任务。作者提供了开源代码。

与本文相关的研究包括MAML以及其他基于梯度的元学习方法。