Balancing Speciality and Versatility: a Coarse to Fine Framework for Supervised Fine-tuning Large Language Model

对齐的大型语言模型(LLMs)展示了出色的多功能性，能够处理各种各样的实际任务。同时，对齐的LLMs也被期望在特定应用中表现出专业性。然而，使用额外数据进行微调以获得专业性的常见做法，往往会导致先前获得的多功能性遭受灾难性遗忘(CF)，从而阻碍模型在各种任务中的表现。为了应对这一挑战，我们提出了CoFiTune，这是一个粗到细的框架，旨在在专业性和多功能性之间取得平衡。在粗粒度级别上，我们使用经验树搜索算法来定位和更新对于专业性至关重要的特定模块，同时保持其他参数不变；在细粒度级别上，我们使用软掩蔽机制来调节LLMs的更新，以缓解CF问题而不损害专业性。在对专业性和多功能性的整体评估中，CoFiTune在各种任务和模型规模上始终优于基线方法。与完整参数的SFT相比，CoFiTune在13B模型上导致约14%的多功能性改进和微小的专业性损失。最后，基于进一步的分析，我们提供了一个关于LLMs中信息传递过程的推测性见解，这有助于解释所提出方法的有效性。代码可在https://github.com/rattlesnakey/CoFiTune上获得。

解决问题：论文提出了CoFiTune框架，旨在在保持模型多样性的同时提高模型的特化能力。同时，该框架还试图解决模型在使用额外数据进行微调时可能出现的灾难性遗忘问题。

关键思路：CoFiTune框架采用了粗到细的策略，通过树搜索算法定位并更新关键模块，以提高模型的特化能力；同时，采用软遮罩机制调节模型更新，以缓解灾难性遗忘问题。

其他亮点：CoFiTune框架在多个任务和模型规模上均表现出色，相比于基线方法，该框架提高了14%的模型多样性，仅有微小的特化能力损失。论文提供了代码和分析结果，并对LLMs信息传递过程提供了一些猜测性解释。

相关研究：最近的相关研究包括《Continual Learning with Hypernetworks》、《Gradient Episodic Memory for Continual Learning》等。