How to Merge Your Multimodal Models Over Time?

模型融合将多个专家模型——从基础模型微调而来，针对不同的任务和领域——合并成一个更强大的单一模型。然而，大多数现有的模型融合方法假设所有专家模型可以同时获得。实际上，新的任务和领域会随着时间逐渐出现，这需要策略来整合专家模型的知识，这一过程我们称之为时间模型融合。时间维度引入了之前研究未涉及的独特挑战，提出了新的问题：在为新任务进行训练时，专家模型应该从已合并的过去专家模型开始，还是从原始的基础模型开始？每个时间步骤是否应该合并所有模型？哪些融合技术最适合时间融合？初始化训练和部署模型时是否应使用不同的策略？为了回答这些问题，我们提出了一种统一框架，称为TIME（时间模型专业知识集成）——该框架在三个轴上定义了时间模型融合：（1）初始化阶段，（2）部署阶段，（3）融合技术。通过TIME，我们在FoMo-in-Flux基准上研究了不同模型大小、计算预算和学习时间范围的时间模型融合。我们通过TIME进行的全面实验揭示了时间模型融合的关键见解，为有效的时间模型融合提供了对当前挑战和最佳实践的更好理解。

该论文旨在解决模型合并中的时间性挑战，即如何在新任务和领域随时间逐步出现时，有效地将新的专家模型知识整合到现有模型中。这是一个相对新颖的问题，因为大多数现有的模型合并方法都假定所有专家模型可以同时获得。

论文提出了一种名为TIME（Temporal Integration of Model Expertise）的统一框架，该框架定义了模型合并的时间维度，并从三个轴来探讨这一过程：初始化阶段、部署阶段和合并技术。这种方法不仅考虑了模型合并的技术细节，还关注了模型在不同时间点的训练和部署策略。

论文通过FoMo-in-Flux基准测试，系统地研究了不同模型大小、计算预算和学习时间范围下的时间模型合并效果。实验设计全面，涵盖了多种场景，为理解时间模型合并提供了宝贵的数据支持。此外，论文还讨论了不同的初始化和部署策略对模型性能的影响，提出了未来研究的方向。

近年来，关于模型合并的研究逐渐增多，但大多集中在静态合并上。例如，《Efficient Model Merging via Knowledge Distillation》和《Federated Learning with Model Aggregation》等论文探讨了如何通过知识蒸馏和联邦学习技术来合并多个模型。然而，这些研究通常假设所有模型在同一时间点可用，而本论文则首次系统地研究了时间维度对模型合并的影响。