FREE: Faster and Better Data-Free Meta-Learning

Data-Free Meta-Learning (DFML)旨在从一组预训练模型中提取知识，而无需原始数据，在数据隐私受限的情况下具有实际优势。目前的DFML方法主要关注从这些预训练模型中恢复数据。然而，它们恢复速度缓慢，并忽视异构预训练模型中固有的差距。针对这些挑战，我们介绍了更快更好的无数据元学习（FREE）框架，其中包括：（i）用于快速从预训练模型中恢复训练任务的元生成器；和（ii）用于推广到新的未见任务的元学习器。具体而言，在Faster Inversion via Meta-Generator模块中，每个预训练模型被视为一个不同的任务。元生成器可以在仅五个步骤内快速适应特定任务，从而显着加速数据恢复。此外，我们提出了Better Generalization via Meta-Learner，并引入了一个隐式梯度对齐算法来优化元学习器。这是通过对齐梯度方向来缓解来自异构预训练模型的任务之间的潜在冲突实现的。多个基准测试的实证实验证实了我们方法的优越性，与最先进技术相比，标志着显着的加速（20倍）和性能提升（1.42％〜4.78％）。

本论文旨在解决Data-Free Meta-Learning（DFML）方法中数据恢复速度慢、忽略异构预训练模型固有差异等问题，提出了Faster and Better Data-Free Meta-Learning（FREE）框架，旨在更快更好地从预训练模型中提取知识

本文提出了Faster Inversion via Meta-Generator和Better Generalization via Meta-Learner两个模块，分别用于快速恢复训练任务和泛化到新的未见过的任务。其中，meta-generator将每个预训练模型视为一个不同的任务，快速适应特定任务，显著加速数据恢复；meta-learner通过隐式梯度对齐算法优化，缓解异构预训练模型之间的潜在冲突，提高泛化性能

本文实验结果表明，与现有技术相比，FREE框架在速度和性能方面都有显著提升，速度提高了20倍，性能提高了1.42%~4.78%。此外，本文还使用了多个基准数据集进行实验，并开源了代码

与本文相关的研究包括Data-Free Learning、Meta-Learning、Few-Shot Learning等领域的研究。