冬去春来，又到了阳光灿烂的日子。此刻的你，是继续咬着笔头刻苦钻研，还是停下来享受几分春光的和煦？

 

迁移学习的研究热潮并没有随着隆冬的到来而有所退却：相反，它继续在近期的各个顶级会议（CVPR'22, NeurIPS'21, ICCV'21, AAAI'22）上大杀四方。

 

自AlexNet于2012年开启了深度学习的研究趋势以来，深度迁移学习从简单有效的*预训练-微调(Pre-train and Fine-tune)*，到方兴未艾的 领域自适应(Domain Adaptation, DA) ，再到近几年如火如荼的 领域泛化(Domain Generalization, DG) 和 元学习(Meta-learning) ，迁移学习在见证了无数研究者的夙兴夜寐、披荆斩棘的同时，其自身也经历着不平凡的发展历程。

 

回顾计算机视觉和自然语言处理领域，我们感恩以ImageNet为代表的众多大规模开源数据集、感激以ResNet和BERT为代表的众多预训练模型：是它们所引领的新时代让深度学习研究变得更加丰富多彩、让人工智能更快地走进千家万户。

 

迁移学习已被广泛应用于生产和生活的各个方面（参考《迁移学习导论》第15章）。「这是一个机遇与挑战并存的时代，诸多重要问题依然悬而未决：」 我们应该如何更好地利用好迁移学习的能力来完成自己的任务？如何确保迁移学习模型不会被滥用？如何在保证效果的同时降低迁移模型的复杂性？如何进行安全的迁移学习、避免模型受到恶意攻击而对用户造成影响？这与我们之前介绍过的联邦迁移学习有所不同，并不需要考虑用户数据的隐私问题。

 

本文以笔者参与的最近被软件工程领域顶级会议「ICSE」2022所接收的论文《ReMoS: Reducing Defect Inheritance in Transfer Learning via Relevant Model Slicing》为例，介绍又一充满前景的研究方向：安全迁移学习 (Safe transfer learning)。

 

论文一作为北京大学张子祺同学、通讯作者为清华大学李元春博士。简而言之：我们的研究成果表明，下游任务可以从预训练模型中继承容易受攻击的权重。为此，我们提出一个名叫ReMoS的方法，有选择性地筛选出那些对下游任务有用且不易受攻击的权重，在最多损失3%精度的前提下，使得微调后的模型受攻击率大大减小：CV(ResNet)任务上受攻击率减小了63%到86%，NLP(BERT、RoBERTa)任务上则减小了40%到61%。

 

Github迁移学习项目：

https://github.com/jindongwang/transferlearning。

论文链接：https://jd92.wang/assets/files/icse22-remos.pdf

代码链接：https://github.com/ziqi-zhang/ReMoS_artifact

内容中包含的图片若涉及版权问题，请及时与我们联系删除