Learning Dynamics of LLM Finetuning

学习动态描述了特定训练样例的学习如何影响模型对其他样例的预测，为我们理解深度学习系统行为提供了有力工具。我们通过分析不同响应之间的逐步分解和累积影响，研究了大型语言模型在微调过程中的学习动态。我们的框架提供了对流行算法进行指令调整和偏好调整训练的许多有趣观察结果的统一解释。该分析不仅解释了这些方法的优势来自何处，还启发了一种简单有效的方法来进一步提高对齐性能。实验代码可在https://github.com/Joshua-Ren/Learning_dynamics_LLM上获取。

学习动态问题（learning dynamics）

分析大型语言模型在fine-tuning过程中的学习动态，探究不同响应之间的分解和累计影响，提出了一个统一的框架，解释了instruction tuning和preference tuning的优势，并提出了一种简单有效的方法来进一步提高对齐性能。

实验使用了大型语言模型，提出了一个统一的框架来解释instruction tuning和preference tuning的优势，同时提出了一种简单有效的方法来进一步提高对齐性能。代码已经开源。

最近的相关研究包括《Understanding the Role of Adaptation in Deep Learning》、《Fine-Tuning Language Models from Human Preferences》等。