标题：伊朗大学、哈塔姆大学｜On the Importance of Data Size in Probing Fine-tuned Models（数据大小在探索微调模型中的重要性）

作者：Houman Mehrafarin, Sara Rajaee, Mohammad Taher Pilehvar

简介：本文介绍了数据集大小对微调的影响。一些研究已经调查了微调有效性背后的原因，通常是通过探测的方式进行的。 然而，这些研究往往忽略了对模型进行微调的数据集大小的作用。 在本文中，作者强调了这一因素的重要性及其在探测性能中不可否认的作用。作者表明，编码语言知识的程度取决于微调样本的数量。 分析还表明，较大的训练数据主要影响较高的层，并且这种变化的程度是微调期间更新模型的迭代次数的一个因素，而不是训练样本的多样性。 最后，作者通过一组实验表明微调数据大小会影响模型语言知识更改的可恢复性。

代码地址：https://github.com/hmehrafarin/data-size-analysis

论文地址：https://arxiv.org/pdf/2203.09627

内容中包含的图片若涉及版权问题，请及时与我们联系删除