ICONS: Influence Consensus for Vision-Language Data Selection

视觉指令微调通常需要大量的视觉-语言训练数据。这些数据中往往包含冗余信息，增加了计算成本，但性能提升并不成比例。在本研究中，我们引入了ICONS，这是一种基于梯度驱动的影响力共识（Influence CONsensus）方法，用于视觉-语言数据选择，能够挑选出一个紧凑的训练数据集以实现高效的多任务训练。我们方法的关键元素是跨任务影响力共识，它通过特定任务影响力的矩阵进行多数投票，识别出在多个任务中始终有价值的样本，从而使我们能够有效地优先处理那些优化整体性能的数据。实验表明，使用我们精选的数据（LLaVA-665K的20%）训练的模型达到了使用完整数据集所获得相对性能的98.6%。此外，我们发布了这个子集，即LLaVA-ICONS-133K，这是LLaVA-665K视觉指令微调数据的一个紧凑且高度信息丰富的子集，保留了高影响力的训练数据，以实现高效的视觉-语言模型开发。

该论文试图解决视觉语言模型训练中数据冗余的问题，即大量训练数据中存在不必要的信息，增加了计算成本而没有带来相应的性能提升。这是一个在视觉语言模型开发中的常见问题，但通过提出新的方法来更有效地选择训练数据集，这为提高训练效率提供了一个新的视角。

关键思路在于引入了ICONS（Influence CONsensus）方法，这是一种基于梯度驱动的跨任务影响共识算法，用于从大型视觉语言数据集中选择对多任务训练最有价值的紧凑子集。相比现有方法，ICONS通过识别对多个任务一致有价值的样本，优先考虑那些能优化整体性能的数据，从而显著减少了所需的数据量而不明显牺牲模型性能。

实验设计包括使用LLaVA-665K数据集的一个20%子集进行训练，并展示了这些模型能够达到接近全数据集训练结果98.6%的相对性能。此外，作者开源了这个精选的数据子集LLaVA-ICONS-133K，为社区提供了高效且高质量的视觉指令调优数据。未来值得深入研究的方向可能包括进一步优化选择算法以适应更多类型的任务或探索其他领域是否适用类似的方法。

近期相关研究还包括： 1. 'EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks' 提出了更有效的神经网络缩放方法。 2. 'Vision Transformer (ViT): An Image is Worth 16x16 Words' 引入了将图像分割成块并用Transformer处理的新颖方式。 3. 'CLIP: Connecting Text and Images' 构建了一个可以理解和生成与文本对应的图像的强大模型。这些工作都致力于改进视觉和语言理解之间的连接，但ICONS专注于如何更智能地选择训练数据以提高效率。