A Two-Phase Recall-and-Select Framework for Fast Model Selection

随着深度学习在各种机器学习应用中的普及，许多神经网络模型已经被训练并在公共模型库中共享。在有针对性的机器学习任务中，通常使用一个合适的源模型作为起点要比从头开始训练更有效，尤其是在训练数据有限的情况下。尽管之前的研究已经开发了许多模型选择策略，但这个过程仍然非常耗时，尤其是考虑到模型库的规模不断扩大。本文提出了一个两阶段（粗略回忆和精细选择）模型选择框架，旨在通过利用模型在基准数据集上的训练表现来提高选择强大模型的效率。具体而言，粗略回忆阶段以离线方式聚类展示基准数据集上训练表现相似的模型。随后计算这个模型集群与目标数据集之间的轻量级代理分数，以便快速回忆可能的候选模型子集。在接下来的精细选择阶段中，通过连续减半法在目标数据集上微调回忆的模型来选择最终模型。为了加速这个过程，通过挖掘模型在基准数据集上的收敛趋势来预测每个潜在模型的最终微调表现，有助于在微调过程中更早地过滤掉表现较差的模型。通过对自然语言处理和计算机视觉的任务进行广泛实验，证明了所提出的方法比传统的基准方法快3倍左右，可以更快速地选择高性能模型。我们的代码可在https://github.com/plasware/two-phase-selection上获得。

本论文试图提出一个两阶段的模型选择框架，以提高选择高性能模型的效率。

该框架的关键思路是利用模型在基准数据集上的训练性能来进行模型的初步筛选和细化选择，并通过挖掘模型在基准数据集上的收敛趋势来预测模型在目标数据集上的性能，以加速选择过程。

该论文通过实验验证了该框架可以比传统的基线方法快3倍选择出高性能模型，并在自然语言处理和计算机视觉等任务上进行了广泛的实验。此外，作者还提供了开源代码。

最近的相关研究包括模型选择策略的研究，但是这些方法仍然非常耗时，尤其是在模型库规模不断增加的情况下。