Data-oriented Dynamic Fine-tuning Parameter Selection Strategy for FISH Mask based Efficient Fine-tuning

鉴于大型语言模型（LLMs）的参数数量巨大，调整所有参数的成本非常高，因此精调特定参数更为明智。大多数参数高效微调（PEFT）集中在参数选择策略上，例如加法方法、选择性方法和重新参数化方法。然而，考虑数据样本对参数选择的影响的方法很少，例如基于Fish Mask的方法。Fish Mask随机选择一部分数据样本，并在参数选择过程中平等对待它们，无法动态地为不一致的数据分布选择最优参数。在这项工作中，我们采用了数据导向的视角，提出了一种IRD（$\mathrm{\underline I}$terative sample-parameter $\mathrm{\underline R}$ange $\mathrm{\underline D}$ecreasing）算法，以搜索最佳的样本-参数对设置来优化Fish Mask。在每次迭代中，通过搜索具有更大Fish信息的样本和参数集，IRD可以在大多数规模中找到更好的样本-参数对。我们通过在GLUE基准测试上进行实验来展示所提出策略的有效性和合理性。实验结果表明，我们的策略优化了参数选择，并实现了更好的性能。

本论文旨在提出一种数据导向的算法，以优化Fish Mask方法的参数选择策略，从而提高大型语言模型的微调效率。

本论文提出了一种迭代样本-参数范围逐渐减小（IRD）算法，通过搜索具有更大Fish信息量的样本和参数集，在每次迭代中找到更好的样本-参数对。

论文通过在GLUE基准测试上的实验验证了所提出的算法的有效性和合理性。此外，论文还指出了当前PEFT方法中存在的不足，即很少考虑数据样本对参数选择的影响。论文的代码已经开源。

在最近的相关研究中，一些学者提出了基于不同策略的PEFT方法，如加法方法、选择方法和重新参数化方法。而本论文提出的IRD算法则是一种数据导向的方法，从另一个角度优化了参数选择策略。