百度推出端侧推理引擎 Paddle Lite,支持华为 NPU 在线编译

近日,百度深度学习平台飞桨(PaddlePaddle)推出端侧推理引擎 Paddle Lite,旨在推动人工智能应用在端侧更好落地。通过对底层架构设计的改进,其拓展性和兼容性等方面实现显著提升。不仅如此,该推理引擎在多硬件、多平台以及硬件混合调度的支持上也更加完备。

目前,Paddle Lite 已经支持了 ARM CPU,Mali GPU,Adreno GPU,华为 NPU 以及 FPGA 等诸多硬件平台,是目前首个支持华为 NPU 在线编译的深度学习推理框架。

随着技术进步,手机等移动设备已成为非常重要的本地深度学习载体,然而日趋异构化的硬件平台和复杂的终端侧的使用状况,让端侧推理引擎的架构能力颇受挑战,端侧模型的推理往往面临着算力和内存的限制。

为了能够完整的支持众多的硬件架构,并且实现在这些硬件之上人工智能应用性能的性能优化,百度飞桨发布了端侧推理引擎 Paddle Lite。通过建模底层计算模式,加强了多种硬件、量化方法、Data Layout  混合调度执行的能力,从而保障宏观硬件的支持能力,满足人工智能应用落地移动端的严苛要求。

百度推出端侧推理引擎 Paddle Lite,支持华为 NPU 在线编译-机器成精

Paddle Lite 在架构上全新升级,并重点增加了多种计算模式(硬件、量化方法、Data Layout)混合调度的完备性设计,可以完整承担深度学习模型在不同硬件平台上的的推理部署需求,具备高性能、多硬件、多平台、扩展性强等优势。

不同于其它一些独立的推理引擎,Paddle Lite 依托飞桨训练框架及其对应的丰富完整的算子库,底层算子计算逻辑与训练严格一致,模型完全兼容无风险,并可快速支持更多模型。它的架构主要有四层次:

  1. Model 层,直接接受 Paddle 训练的模型,通过模型优化工具转化为 NaiveBuffer 特殊格式,以便更好地适应移动端的部署场景;
  2. Program 层是 Operator 序列构成的执行程序;
  3. 是一个完整的分析模块,主要包括 TypeSystem、SSA Graph 和 Passes 等模块;
  4. 执行层,由 Kernel 序列构成的 Runtime Program。

值得一提的是,端侧推理引擎在人工智能应用落地环节有着重要影响,直接关系到用户的体验。由此,Paddle Lite 的推出对端侧推理引擎性能进行了大幅优化提升,同时也推动了 AI 应用在端侧的落地。

*文章为作者独立观点,不代表机器成精立场
发表评论

9 条评论
  • #9 Sonia Randhawa 

    below you will obtain the link to some web pages that we feel you need to visit

  • #8 Ayurveda Online Shop 

    the time to study or visit the content material or websites we’ve linked to below the

  • #7 fake money for sale 

    just beneath, are various completely not associated web sites to ours, having said that, they are surely worth going over

  • #6 Sonia Randhawa 

    although internet websites we backlink to beneath are considerably not associated to ours, we really feel they’re in fact worth a go by, so possess a look

  • #5 customer.florencewarehouse.com 

    Excellent web site. Plenty of useful information here.

    I am sending it to some friends ans additionally sharing in delicious.
    And obviously, thanks for your effort!

  • #4 http://manifest-joy.com/ 

    WOW just what I was searching for. Came here by searching for cbd oil

  • 板凳 Google 

    Check beneath, are some absolutely unrelated web sites to ours, nonetheless, they are most trustworthy sources that we use.

  • 椅子 g rsacwgxy 

    Good article. I certainly appreciate this website. Continue
    the good work!

  • 沙发 g well 

    I am truly thankful to the owner of this web page who has shared this enormous paragraph
    at at this place.

相关文章
AI应用算法框架研发商SIGAI获千万级Pre-A轮融资,创势资本领投
AI应用算法框架研发商SIGAI获千万级Pre-…
百度:未来五年在山西培养5万名AI数据标注师
百度:未来五年在山西培养5万名AI数据标…
昆明支持拓展5G、人工智能等新技术新产业应用场景
昆明支持拓展5G、人工智能等新技术新产…
SAS与微软,颠覆全球数据分析与AI市场
SAS与微软,颠覆全球数据分析与AI市场
2020亚太银行数字化创新大会于上海圆满落下帷幕!
2020亚太银行数字化创新大会于上海圆满…
对话王小川:个人信息泄露和AI仿真造假将是监管方向
对话王小川:个人信息泄露和AI仿真造假…
我还没有学会写个人说明!