百度深度學(xué)習(xí)平臺飛槳(PaddlePaddle)再放大招!端側(cè)推理引擎全新升級，重磅發(fā)布Paddle Lite，旨在推動人工智能應(yīng)用在端側(cè)更好落地。該推理引擎在多硬件、多平臺以及硬件混合調(diào)度的支持上更加完備，是飛槳在Paddle Mobile的基礎(chǔ)上進行的一次大規(guī)模升級迭代。通過對底層架構(gòu)設(shè)計的改進，拓展性和兼容性等方面實現(xiàn)顯著提升。目前，Paddle Lite已經(jīng)支持了ARM CPU，Mali GPU，Adreno GPU，華為NPU以及FPGA等諸多硬件平臺，是目前首個支持華為NPU在線編譯的深度學(xué)習(xí)推理框架。

　　隨著技術(shù)進步，手機等移動設(shè)備已成為非常重要的本地深度學(xué)習(xí)載體，然而日趨異構(gòu)化的硬件平臺和復(fù)雜的終端側(cè)的使用狀況，讓端側(cè)推理引擎的架構(gòu)能力頗受挑戰(zhàn)。端側(cè)模型的推理往往面臨著算力和內(nèi)存的限制，為了能夠完整的支持眾多的硬件架構(gòu)，并且實現(xiàn)在這些硬件之上人工智能應(yīng)用性能的性能優(yōu)化，百度飛槳基于Paddle Mobile預(yù)測庫，融合Anakin等多個相關(guān)項目的技術(shù)優(yōu)勢，全新發(fā)布端側(cè)推理引擎Paddle Lite，通過建模底層計算模式，加強了多種硬件、量化方法、Data Layout 混合調(diào)度執(zhí)行的能力，從而保障了宏觀硬件的支持能力，滿足人工智能應(yīng)用落地移動端的嚴(yán)苛要求。

　　Paddle Lite在架構(gòu)上全新升級，并重點增加了多種計算模式(硬件、量化方法、Data Layout)混合調(diào)度的完備性設(shè)計，可以完整承擔(dān)深度學(xué)習(xí)模型在不同硬件平臺上的的推理部署需求，具備高性能、多硬件、多平臺、擴展性強等優(yōu)勢。不同于其他一些獨立的推理引擎，Paddle Lite依托飛槳訓(xùn)練框架及其對應(yīng)的豐富完整的算子庫，底層算子計算邏輯與訓(xùn)練嚴(yán)格一致，模型完全兼容無風(fēng)險，并可快速支持更多模型。

　　Paddle Lite架構(gòu)由四層次組成：第一層model 層直接接受Paddle訓(xùn)練的模型，通過模型優(yōu)化工具轉(zhuǎn)化為NaiveBuffer特殊格式，以便更好地適應(yīng)移動端的部署場景;第二層Program層是operator序列構(gòu)成的執(zhí)行程序;第三層是一個完整的分析模塊，主要包括TypeSystem、SSA Graph和Passes等模塊;第四層是執(zhí)行層，由Kernel序列構(gòu)成的Runtime Program。

　　Paddle Lite具有以下重要特性：

　　與其他端側(cè)引擎相比，Paddle Lite擴展性更高，框架層硬件抽象層次的描述能力強，容易對新的硬件進行集成，可以模塊化地對硬件和模型進行更細致的分析和優(yōu)化。

　　在模型支持方面，Paddle Lite現(xiàn)已支持Paddle圖像分類、檢測、分割及圖像文字識別等領(lǐng)域的模型預(yù)測，官方發(fā)布了18個模型的benchmark。此外，可以通過X2Paddle工具將由Caffe和TensorFlow訓(xùn)練的模型轉(zhuǎn)換后進行預(yù)測。

　　在硬件支持方面，目前Paddle Lite已支持ARM CPU, ARM GPU、華為NPU和FPGA等硬件平臺，正在優(yōu)化支持的有寒武紀(jì)、比特大陸等國產(chǎn)AI芯片，并會兼容支持的Intel、NVIDIA等主流云端芯片，與硬件廠商的廣泛深入合作使得lite具有高性能表現(xiàn)，并可緊跟新硬件發(fā)展步伐提供先于其他框架的性能表現(xiàn)領(lǐng)先優(yōu)勢。

　　模型支持和硬件平臺支持的廣泛性，整體保證了框架的高通用性

　　在性能方面，Paddle Lite針對不同微架構(gòu)，進行了kernel的深度優(yōu)化，支持INT8量化計算，在主流移動端模型上展現(xiàn)出領(lǐng)先的速度優(yōu)勢。值得一提的是，在“國貨”華為 NPU上也具有很好的性能表現(xiàn)。

　　與此同時，Paddle Lite可針對端側(cè)設(shè)備特點進行深度定制及優(yōu)化，無第三方庫依賴，讓部署過程更輕量化。整個推理過程分為模型加載解析、計算圖的優(yōu)化分析及設(shè)備上的高效運行。移動端可以直接部署經(jīng)過優(yōu)化分析的圖，執(zhí)行預(yù)測。Android平臺上，ARMV7 動態(tài)庫只需要800k，ARMV8動態(tài)庫僅有1.3M，也可以根據(jù)需要，進行更深度的剪裁。

　　此外，還進一步完善提供了Web前端開發(fā)接口，支持javascript調(diào)用 GPU，可在網(wǎng)頁端快捷運行深度學(xué)習(xí)模型。

　　端側(cè)推理引擎在人工智能應(yīng)用落地環(huán)節(jié)有著重要影響，直接關(guān)系到用戶的體驗，在自動駕駛等人工智能應(yīng)用領(lǐng)域，端側(cè)推理引擎甚至關(guān)乎用戶的生命財產(chǎn)安全。百度飛槳推出Paddle Lite對端側(cè)推理引擎性能進行大幅優(yōu)化提升，對于人能智能應(yīng)用的落地起到關(guān)鍵的推動作用。未來，Paddle Lite將支持更多硬件，覆蓋更廣泛的應(yīng)用領(lǐng)域。

　　更多詳情：

　　歡迎加入官方QQ群：696965088

　　官網(wǎng)地址：

　　https://www.paddlepaddle.org.cn

　　項目地址：

　　https://github.com/PaddlePaddle/Paddle-Lite