近日，阿里云正式开源了深度迁移学习框架 EasyTransfer，这是业界首个面向 NLP 场景的深度迁移学习框架。

开源链接：https://github.com/alibaba/EasyTransfer

该框架由阿里云机器学习 PAI 团队研发，让自然语言处理场景的模型预训练和迁移学习开发与部署更加简单和高效。

框架六大亮点

简单高性能的框架：屏蔽复杂的底层实现，用户只需关注模型的逻辑结构，降低了 NLP 和迁移学习的入门门槛；同时，框架支持工业级的分布式应用场景，改善了分布式优化器，配合自动混合精度，编译优化，和高效的分布式数据 / 模型并行策略，做到比社区版的多机多卡分布式训练在运算速度上快 4 倍多；

语言模型预训练工具链：支持完整的预训练工具链，方便用户预训练语言模型如 T5 和 BERT，基于该工具链产出的预训练模型在中文 CLUE 榜单和英文 SuperGLUE 榜单取得很好的成绩；

丰富且高质量的预训练模型 ModelZoo：支持 PAI-ModelZoo，支持 Bert，Albert，Roberta，XLNet，T5 等主流模型的 Continue Pretrain 和 Finetune。同时支持自研的多模态模型服装行业的 Fashionbert 等；

丰富且易用的应用 AppZoo：支持主流的 NLP 应用和自研的模型应用，比方说文本匹配下支持 DAM++、HCNN 等单塔模型，以及 BERT 双塔 + 向量召回模型；阅读理解下支持 BERT-HAE 等模型；

自动知识蒸馏工具：支持知识蒸馏，可以从大的 teacher 模型蒸馏到小的 student 模型。集成了任务有感知的 BERT 模型压缩 AdaBERT，采用了神经网路架构搜索去搜索出任务相关的架构去压缩原始的 BERT 模型，可以压缩最多到原来的 1/17，inference 最多提升 29 倍，且模型效果损失在 3% 以内；

兼容 PAI 生态产品：框架基于 PAI-TF 开发，用户通过简单的代码或配置文件修改，就可以使用 PAI 自研高效的分布式训练，编译优化等特性；同时框架完美兼容 PAI 生态的产品，包括 PAI Web 组件（PAI Studio），开发平台（PAI DSW），和 PAI Serving 平台（PAI EAS）。

内容中包含的图片若涉及版权问题，请及时与我们联系删除