在深度学习的产业应用中，千万不要认为炼制出神丹就万事大吉了，企业还需要面临一个挑战，那就是大规模推理部署。对工业级部署而言，要求的条件往往非常繁多且苛刻，模型大小、业务应用、硬件性能等条件的差异，都会影响模型部署的方式。而理想的部署方式，往往会让推理的效率更高，AI赋能产业的落地更加事半功倍。

项目代码：https://www.paddlepaddle.org.cn/

飞桨支持多种部署方式，包括高性能的服务器部署、多平台的端侧部署、网页端的web部署以及快捷的服务化部署，企业可以根据业务需求灵活选择。

Paddle Serving是飞桨服务化部署框架，为AI+落地的最后一公里提供专业、可靠、易用的服务。Paddle Serving 秉承模型即服务（Model As A Service，MAAS）的理念，让用户在使用飞桨框架成功完成模型训练的那一刻，收获的不再只是模型，而是同时拥有了该模型的推理服务。用户可以在短短的几分钟内，将模型迅速的转化为一个可以在服务器端部署的远程服务。

核心升级： 1）支持Pipeline Serving全异步设计的推理服务部署框架，实验证明，OCR任务的吞吐量提升1.5倍，GPU利用率提升1倍。 2）支持NVIDIA TensorRT高性能推理库，实现模型推理低延迟、高吞吐。 3）支持多系统、多语言客户端，覆盖更多的部署场景。

内容中包含的图片若涉及版权问题，请及时与我们联系删除