TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression

传递学习与传统监督学习的主要区别在于分布转移，表现为源模型和目标模型之间以及边际协变量分布之间的转移。本文针对高维回归设置中的协变量转移和模型转移问题提出了一种两步法方法，采用新颖的融合正则化器，有效利用源任务样本，提高对有限目标任务样本的学习性能。我们提供了目标模型估计误差的非渐进界，表明所提出的方法对协变量转移具有鲁棒性。我们进一步建立了估计器是极小化最优的条件。此外，我们将该方法扩展到分布式设置中，允许预训练-微调策略，只需要一轮通信，同时保持中心化版本的估计速率。数值测试验证了我们的理论，突显了该方法对协变量转移的鲁棒性。

本论文旨在解决高维回归问题中的模型转移和协变量转移问题，提出了一种利用源任务样本来提高目标任务学习性能的新方法。

论文提出了一种两步方法，并使用融合正则化器来有效地解决模型转移和协变量转移问题。通过提供估计误差的非渐近界限，证明了该方法对于协变量转移的鲁棒性。此外，论文还将该方法扩展到分布式设置中，允许预训练-微调策略，只需要一轮通信即可保留集中式版本的估计速率。

论文的亮点在于提出了一种解决模型转移和协变量转移问题的新方法，并提供了非渐近界限来证明其鲁棒性。此外，该方法在分布式设置中的扩展也很有意义。作者进行了数值测试，验证了理论结果的正确性。

在这个领域中，还有一些相关的研究，例如《Deep Transfer Learning with Joint Adaptation Networks》和《A Survey on Transfer Learning》等。