MedMerge: Merging Models for Effective Transfer Learning to Medical Imaging Tasks

迁移学习已成为初始化深度学习模型以实现更快收敛和更高性能的强大工具。这在医学影像分析领域尤其有用，因为数据稀缺限制了深度学习模型可能的性能提升。一些进展已经在提高迁移学习性能方面取得，通过合并从相同初始化开始的模型。然而，在医学影像分析领域，有一个机会可以合并从不同初始化开始的模型，从而结合从不同任务中学习到的特征。在这项工作中，我们提出了MedMerge方法，可以合并不同模型的权重，并有效利用它们的特征来提高新任务的性能。通过MedMerge，我们学习了可以后续用于将模型合并成单个模型的内核级权重，即使从不同的初始化开始。在各种医学影像分析任务上进行测试，我们展示了我们合并模型可以实现显著的性能提升，F1分数最多提高了3%。本研究的代码实现将在www.github.com/BioMedIA-MBZUAI/MedMerge上提供。

本文旨在解决医学影像分析领域中深度学习模型的数据稀缺性问题，提出了一种基于不同初始化模型权重融合的方法MedMerge，以提高模型性能。

MedMerge方法可以将不同初始化的模型进行权重融合，从而将它们学习到的特征有效地结合起来，提高在新任务上的性能。

本文的实验结果表明，MedMerge方法可以在多个医学影像分析任务上显著提高模型性能，F1分数最高可提高3%。此外，作者还将代码实现开源于Github。

在医学影像分析领域中，近期的相关研究包括《Multi-Task Learning for Lung Cancer Diagnosis》、《Transfer Learning in Medical Imaging Analysis》等。