AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression

本文考虑在高维情况下的迁移学习问题，即特征维度大于样本数。为了学习可迁移信息，这些信息可能因特征或源样本而异，我们提出了一种自适应迁移学习方法，可以检测和聚合特征级别（F-AdaTrans）或样本级别（S-AdaTrans）的可迁移结构。我们采用新型融合惩罚和权重，可以根据可迁移结构进行自适应调整。为了选择权重，我们提出了一种理论上的数据驱动程序，使F-AdaTrans可以选择性地将可迁移信号与目标融合，过滤掉非可迁移信号，使S-AdaTrans获得来自每个源样本的最佳信息组合。在特定情况下，建立了非渐进速率，恢复了现有的近最小化最优速率。使用合成数据和真实数据验证了所提出方法的有效性。

本论文旨在解决高维情况下的迁移学习问题，即特征维度大于样本数的情况。同时，该论文试图提出一种自适应迁移学习方法，以检测和聚合特征或源样本之间可迁移的信息。

该论文提出了一种新颖的融合惩罚方法，与能够根据可迁移结构自适应的权重相结合，以实现特征或样本的自适应迁移学习。同时，该论文还提出了一种理论上的数据驱动程序，使F-AdaTrans能够有选择地融合可迁移信号，同时过滤掉不可迁移信号，S-AdaTrans能够获得每个源样本传递的最佳信息组合。

该论文在合成数据和真实数据上进行了验证，证明了所提出的方法的有效性。该论文提出的方法具有一定的理论保证，并且在特定情况下可以恢复现有的近极小值最优速率。值得关注的是，该论文提出的方法可以检测和聚合特征或样本之间的可迁移结构，为解决高维迁移学习问题提供了新思路。

近期在这个领域中，还有一些相关的研究，如《Transfer Learning with Neural Networks for Text Classification》、《Deep Transfer Learning for Image Classification》等。