以下文章来源于微信公众号：计算机视觉研究院

作者：计算机视觉研究院

链接：https://mp.weixin.qq.com/s/15z_g0yBGczoeivlaR15nQ

本文仅用于学术分享，如有侵权，请联系后台作删文处理

导读
Transformer 对计算和存储的高要求阻碍了其在 GPU 上的大规模部署。在本文中，来自快手异构计算团队的研究者分享了如何在 GPU 上实现基于 Transformer 架构的 AI 模型的极限加速，介绍了算子融合重构、混合精度量化、先进内存管理、Input Padding 移除以及 GEMM 配置等优化方法。

图 1：基于 Transformer 架构的 NLP 模型规模


图 2：基于 Transformer 架构的应用


图 3：Transformer 模型的架构


图 4：Beam Search Decoding (Decoder + Beam Search) 流程图


Transformer 家族模型

根据具体模型架构和应用的不同，研究者将 Transformer 家族的模型分为四大类（如图 5）：

图 5：经典的基于 Transformer 结构的 AI 模型




图 6：Transformer 架构中 Self-attention 和 Feedforward 模块的 CUDA kernel 融合和重构，参见[14]


图 7：Transformer FP16 版本的几个关键 CUDA kernel 采用的量化精度


图 8：Transformer CUDA 实现的内存管理



图 9：输入 Padding 移除的方案 - 通过引入 Offset Mask，移除 Padding 的 Sequence 和原始的 Sequence 可以互相转换重建


图 10：通过对 CUDA Kernel 的分类判断是否可以移除 Padding


图 11：Transformer GEMM 配置的优化

总结


参考文献

[1] M. Luong et al, Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025v5 (2015).

[2] A. Vaswani et al. Attention is all you need, Advances in neural information processing systems (2017).

[3] J. Devlin et al. Bert: Pre-training of deep bidirectional transformers for language understanding, arXiv:1810.04805 (2018).

[4] A. Radford et al. Language Models are Unsupervised Multitask Learners, 2019.

[5] https://www.microsoft.com/en-us/research/blog/turing-nlg-a-17-billion-parameter-language-model-by-microsoft/

[6] C. Raffe et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, arXiv:1910.10683v3 (2019).

[7] T. Brown et al, Language Models are Few-Shot Learners, arXiv: 2005.14165v4 (2020).

[8] N. Carion et al, End-to-End Object Detection with Transformers, arXiv: 2005.12872 (2020).

[9] M. Chen et al, Generative Pretraining from Pixels, ICML (2020).

[10] F. Yang et al, Learning Texture Transformer Network for Image Super-Resolution, CVPR (2020).

[11] D. Zhang et al, Feature Pyramid Transformer, ECCV (2020).

[12] Y. Zhao et al, The SpeechTransformer for Large-scale Mandarin Chinese Speech Recognition. ICASSP 2019.

[13] A. Gulati et al, Conformer: Convolution-augmented Transformer for Speech Recognition, arXiv:2005.08100v1 (2020).

[14] https://github.com/NVIDIA/DeepLearningExamples/tree/master/FasterTransformer

推荐阅读

AIHIA | AI人才创新发展联盟2023年盟友招募

AI融资 | 智能物联网公司阿加犀获得高通5000W融资

Yolov5应用 | 家庭安防告警系统全流程及代码讲解

江大白 | 这些年从0转行AI行业的一些感悟

注意：大白梳理对接AI行业的一些中高端岗位，年薪在50W~120W之间，图像算法、搜索推荐等热门岗位，欢迎感兴趣的小伙伴联系大白，提供全流程交流跟踪，各岗位详情如下：

《AI未来星球》陪伴你在AI行业成长的社群，各项福利重磅开放：

（1）198元《31节课入门人工智能》视频课程；

（2）大白花费近万元购买的各类数据集；

（3）每月自习活动，每月17日星球会员日，各类奖品送不停；

（4）加入《AI未来星球》内部微信群；

还有各类直播时分享的文件、研究报告，一起扫码加入吧！

人工智能行业，研究方向很多，大大小小有几十个方向。
为了便于大家学习交流，大白创建了一些不同方向的行业交流群。
每个领域，都有各方向的行业实战高手，和大家一起沟通交流。
目前主要开设：Opencv项目方面、目标检测方面、模型部署方面，后期根据不同领域高手的加入，建立新的方向群！
大家可以根据自己的兴趣爱好，加入对应的微信群，一起交流学习！
© THE END 


大家一起加油！ 

内容中包含的图片若涉及版权问题，请及时与我们联系删除