Training-Free Model Merging for Multi-target Domain Adaptation

本文研究场景理解模型的多目标域自适应。虽然以前的方法通过域内一致性损失取得了可观的结果，但它们通常假设同时访问来自所有目标域的图像，忽略了数据传输带宽限制和数据隐私问题等限制。鉴于这些挑战，我们提出了一个问题：如何合并在不直接访问训练数据的情况下独立适应于不同域的模型？我们解决这个问题的方法包括两个组件：合并模型参数和合并模型缓冲区（即归一化层统计）。对于合并模型参数，模式连接性的实证分析令人惊讶地表明，当使用相同的预训练骨干网络权重适应不同模型时，线性合并就足够了。对于合并模型缓冲区，我们使用高斯先验模拟现实世界的分布，并从分别训练的模型的缓冲区中估计新的统计数据。我们的方法简单而有效，实现了与数据组合训练基线相当的性能，同时消除了访问训练数据的需求。项目页面：https://air-discover.github.io/ModelMerging

本文旨在解决多目标领域自适应场景理解模型的问题，即如何在不直接访问训练数据的情况下合并独立适应于不同领域的模型。

本文提出了两个组成部分的解决方案：合并模型参数和合并模型缓冲区。通过对模式连通性的经验分析，本文发现当使用相同的预训练主干网络权重来适应独立的模型时，线性合并就足够了。对于合并模型缓冲区，本文使用高斯先验模拟真实世界分布，并从单独训练的模型的缓冲区估计新的统计信息。

本文的方法简单而有效，在不需要访问训练数据的情况下，实现了与数据组合训练基线相当的性能。研究人员在多个数据集上进行了实验，并提供了开源代码。

最近的相关研究包括《Learning to Adapt: A Meta-Learning Approach for Few-Shot Learning》和《Deep Adversarial Attention Alignment for Unsupervised Domain Adaptation: the Benefit of Target Expectation Maximization》。