OpenPPL 之应对动态模型的 Shape 算子融合策略

作为 AI 算法部署工程师，日常工作的其中一项就是将训练好的模型部署到设备上。根据业务需求的不同，需要保证推理的速度以及模型的稳定性。

在深度学习推理方面有多种提速方法，如模型剪枝量化与层算子融合等。算子融合是可以在深度学习中进行的一种典型优化，本文将配合 OpenPPL 高性能推理引擎来介绍应对动态模型的 Shape 算子融合策略。

OpenPPL 能够让人工智能应用高效可靠地运行在现有的 CPU、GPU 等计算平台上，为云端场景提供人工智能推理服务。OpenPPL 的自定义算子 PPL. ShapeOperation 可以有效将 Shape 与紧随其后的 Gather, Slice, Concat, Squeeze Unsqueeze, Add, Div 等算子进行融合，从而简化原始网络，提炼模型含义。