Model Selection with Model Zoo via Graph Learning

预训练深度学习模型在公共代码库中越来越容易获取，也就是模型动物园。在面对新的预测任务时，找到最好的模型进行微调可能会耗费大量的计算资源和成本，特别是当预训练模型数量较多时。选择正确的预训练模型至关重要，但由于来自各种模型家族（如ResNet、Vit、Swin）的模型的多样性以及模型和数据集之间的隐藏关系的复杂性，这变得非常复杂。现有的方法利用模型和数据集的基本信息来计算得分，以指示模型在目标数据集上的性能，忽略了内在关系，从而限制了它们在模型选择方面的有效性。在本研究中，我们介绍了TransferGraph，这是一个新颖的框架，将模型选择重新定义为图学习问题。TransferGraph使用从模型和数据集中提取的大量元数据构建图，同时捕获它们的内在关系。通过在16个真实数据集上进行全面的实验，包括图像和文本，我们证明了TransferGraph在捕获关键的模型-数据集关系方面的有效性，相对于最先进的方法，预测性能和实际微调结果之间的相关性提高了高达32%。

如何在众多预训练模型中选择最适合的模型进行fine-tuning，传统方法无法充分利用模型和数据集之间的内在关系。

将模型选择问题转化为图学习问题，使用元数据构建图，捕捉模型和数据集之间的内在关系。

论文提出了TransferGraph框架，通过广泛的元数据构建图，捕捉模型和数据集之间的内在关系，有效提高了模型选择的准确性，实验结果表明相比于现有方法，预测性能与实际fine-tuning结果的相关性提高了32%。实验使用了16个真实数据集，包括图像和文本数据集，作者还提供了开源代码。

相关研究包括使用基本信息计算模型在目标数据集上的性能得分的方法，如AutoDL和NAS-Bench-201，以及利用元学习和联邦学习等技术进行模型选择的方法，如MetaQNN和FedNAS。