FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis

由于医学数据集的标注不足，需要利用来自更广泛的数据集（如ImageNet）或预训练模型（如CLIP）的转移学习。模型汤是对多个精细调整的模型进行平均，旨在提高在内部领域（ID）任务上的性能并增强对分布于外部领域（OOD）数据集的鲁棒性。然而，将这些方法应用于医学成像领域面临挑战，并导致性能不佳。这主要是由于数据复杂性（如异质性、域漂移、类别不平衡和训练和测试阶段之间的分布偏移）导致的误差表面特征不同。为了解决这个问题，我们提出了一种分层合并方法，涉及到基于模型的超参数配置的各个级别上的局部和全局模型聚合。此外，为了减轻需要在超参数搜索中训练大量模型的需求，我们引入了一种使用循环学习率调度器的计算方法，以在权重空间中生成多个模型以供聚合。我们的方法在多个数据集上显示出比模型汤方法显着的改进（在HAM10000和CheXpert数据集中约为6％的增益），同时保持了模型生成和选择的低计算成本。此外，我们在OOD数据集上取得了比模型汤更好的结果。代码可在https://github.com/BioMedIA-MBZUAI/FissionFusion上获得。

本论文旨在解决医学图像领域中使用迁移学习和预训练模型时遇到的问题，如数据复杂性、域偏移、类别不平衡和训练测试阶段的分布偏移等，以及提出一种层次化合并方法来提高模型性能。

本论文提出了一种层次化合并方法，涉及到模型的局部和全局聚合，基于模型的超参数配置进行合并。此外，为了减轻超参数搜索中训练大量模型的需求，引入了一个计算上高效的方法，使用循环学习率调度程序在权重空间中生成多个模型以进行聚合。

本方法在多个数据集上都实现了显著的性能提升（HAM10000和CheXpert数据集的提升约为6%），同时在模型生成和选择方面保持了低计算成本。此外，与模型汤相比，在OOD数据集上实现了更好的结果。研究者还开放了代码。

在这个领域中，最近的相关研究包括：《A Survey on Deep Learning in Medical Image Analysis》、《Transfer Learning in Medical Imaging: A Survey》等。