SMART: Submodular Data Mixture Strategy for Instruction Tuning

Instruction Tuning是指在一系列以指令格式为基础的数据集上对语言模型进行微调，以增强模型对未知任务的泛化能力。研究表明，在微调过程中平衡不同任务的比例非常重要，但是找到合适的平衡仍然具有挑战性。不幸的是，目前除了手动调整或依赖从业者的直觉外，没有系统化的方法。本文介绍了SMART（基于子模函数的数据混合策略，用于指令微调），这是一种新颖的数据混合策略，它利用子模函数为任务分配重要性得分，然后用于确定混合权重。在给定微调预算的情况下，SMART重新分配任务的预算，并从每个任务中选择非冗余样本。实验结果表明，SMART明显优于传统方法，如示例比例混合和均等混合。此外，SMART便于基于少数代表性任务子集创建数据混合，并通过任务修剪分析揭示，在有限的预算设置中，将预算分配给一组代表性任务比将预算分配给所有任务更有优势。我们的结果重现代码在https://github.com/kowndinya-renduchintala/SMART上开源。

如何在指令格式数据集上优化语言模型以提高其泛化能力？如何在不同任务比例之间找到平衡点？

SMART是一种新的数据混合策略，利用子模块函数为任务分配重要性分数，然后确定混合权重。SMART可以在有限的微调预算内重新分配预算，并从每个任务中选择非冗余样本。

论文提出了SMART策略，相比于传统的例子比例混合和均等混合方法，SMART显著提高了模型性能。SMART还可以基于少量代表性任务子集创建数据混合，并通过任务修剪分析揭示，将预算分配给代表性任务子集比分配给所有任务更具优势。论文的代码已在github上开源。

在这个领域中，最近还有一些相关研究，如基于样本选择的数据混合方法，以及基于子模块函数的任务选择方法。