昨天，在“WAVE Summit+”2019深度學習開發者秋季峰會上，百度對外發布基于ERNIE的語義理解開發套件，旨在為企業級開發者提供更領先、高效、易用的ERNIE應用服務，全面釋放ERNIE的工業化價值，其中包含ERNIE 輕量級解決方案，提速1000倍!

　　今年7月份，百度發布持續學習語義理解框架ERNIE 2.0，在共計16個中英文任務上超越BERT、XLNET，取得了SOTA的效果。

　　ERNIE 2.0發布以來，ERNIE產業化應用進程不斷加速，易用性不斷提升，配套產品也不斷豐富和完善。目前，ERNIE 2.0在百度內部及行業內已取得了廣泛應用，在多種場景下都取得了明顯效果提升。這些場景的成功運用為ERNIE產業化應用積累了豐富的經驗。

　　上圖為ERNIE全景圖，預置了包含ERNIE通用模型、ERNIE任務模型、ERNIE領域模型以及本次發布的ERNIE Tiny輕量級模型等系列預訓練模型。在此基礎上，構建了包含工具和平臺的飛槳語義理解開發套件。全面覆蓋了訓練、調優、部署等開發流程，具備輕量方案、能力全面、極速預測、部署靈活、平臺賦能等五大特色。接下來，我們逐一揭秘。

　　特色1：輕量級解決方案，預測速度提升1000倍

　　ERNIE 2.0擁有強大的語義理解能力，而這些能力需要強大的算力才能充分發揮，這為實際應用帶來了非常大的挑戰。為此，百度發布輕量級預訓練模型ERNIE Tiny以及一鍵式數據蒸餾工具ERNIE Slim，預測速度提升達到1000倍。

ERNIE Tiny技術原理

　　ERNIE Tiny主要通過模型結構壓縮和模型蒸餾的方法，將ERNIE 2.0 Base模型進行壓縮，其特點和優勢主要包括以下四個方面：

　　1.淺：模型采用3層transformer結構，線性提速4倍;

　　2.寬：模型加寬隱層參數，從ERNIE 2.0的768擴展到1024，寬度的增加帶來效果的提升 。依托飛槳的通用矩陣運算優化，『變寬』并不會帶來速度線性的下降;

　　3.短：為縮短輸入文本的序列長度，降低計算復雜度，模型首次采用中文subword粒度輸入，長度平均縮短40%;

　　4.萃：ERNIE Tiny在訓練中扮演學生角色，利用模型蒸餾的方式在Transformer層和Prediction層學習教師模型ERNIE 2.0模型對應層的分布和輸出。

　　通過以上四個方面的壓縮，ERNIE Tiny模型的效果相對于ERNIE 2.0 Base平均只下降了2.37%，但相對于“SOTA Before BERT”提升了8.35%，而速度提升了4.3倍。

　　ERNIE Tiny的預測速度在一些性能要求苛刻的場景中是不夠的，這些場景中延遲響應往往要求小于1ms，為此，套件提供了一鍵式數據蒸餾ERNIE Slim工具。該工具以數據為橋梁，將ERNIE的知識遷移至小模型，在效果損失很小的情況下實現預測速度上千倍的提升。

ERNIE Slim技術原理

　　ERNIE Slim原理同傳統深度學習數據蒸餾的方法略有不同。首先需要使用ERNIE 2.0模型對輸入標注數據進行Fine-tune得到Teacher Model，然后使用Teacher Model對無標注數據進行預測，該步驟中我們可采用添加噪聲詞、同詞性詞語替換、N-sampling三種策略進行數據增強，最后通過BoW、CNN等計算復雜度小的模型進行訓練。

　　下表展示了ERNIE Slim的效果。從表格中可以看出，相對于ERNIE 2.0 base模型，數據蒸餾后的小模型效果損失不大，預測速度提升千倍以上; 而相對于簡單模型，速度接近的情況下，效果會得到顯著提升。

ERNIE Slim效果

　　特色2：一鍵式高性能全類微調工具

　　ERNIE Fine-tune微調工具旨在為給開發者提供一套簡單好用的Fine-tune框架，目前覆蓋NLP四大常用任務：單句分類、句對匹配、命名實體識別、閱讀理解。工具集支持多機多卡Fine-tune，同時使用FP16 Tensor Core技術在Tesla V系列GPU上獲得60%的訓練速度提升。

　　Fine-tune微調工具包含了一個基于飛槳的訓練組織框架Propeller，可以幫助開發者進行模型管理、參數熱啟動、自動多卡并行等工作，從而讓開發者更專注于網絡結構以及輸入數據流水線的構建。

　　特色3：極速預測API

　　ERNIE Fast-inference API旨在解決產品應用的延遲敏感場景，為企業開發者提供極速預測的C++ API，便于開發者集成。該工具也充分借助了最新版飛槳的高速預測優勢，飛槳1.6通過OP聚合算法，有效加速了ERNIE的預測。

　　在延遲敏感場景下，對比競品在GPU(P4)設備21%的延遲降低，ERNIE Fast-inference API在CPU(Intel Xeon Gold 6148 CPU)設備上的延遲降低60%。

　　特色4：向量服務器，支持跨平臺靈活部署

　　為進一步降低開發者使用成本，套件提供預測服務方案——ERNIE Service，來方便獲取ERNIE模型的向量分布以及預測打分。

ERNIE Service架構

　　ERNIE Service是基于Python構建的多GPU預測服務，Client端發送的請求會自動分發至GPU上執行ERNIE Fast-inference API來獲取ERNIE向量 及打分。目前ERNIE Service支持不同平臺、不同設備、不同語言的靈活調用，具備預測性能高等特點，相比競品BERT-as-service在QPS上提升13%。

　　特色5：平臺賦能

　　此外，套件還包含了ERNIE的平臺化使用方案，開發者可通過EasyDL專業版一站式完成NLP任務的數據標注、處理、ERNIE微調、優化、部署等全流程的功能，為開發者提供豐富的算法、算力服務，進一步降低 ERNIE 的產業化應用門檻。平臺預置了常用的NLP文本分類、文本匹配等經典網絡，能夠快速滿足多層次開發者的需求。

　　綜合來看，ERNIE的語義理解開發套件依托百度在預訓練模型等自然語言處理技術和飛槳平臺領先優勢，為人工智能產業化大生產貢獻力量，賦能各行各業。

　　相關鏈接：

　　ERNIE工業級開源工具：https://github.com/PaddlePaddle/ERNIE

　　ERNIE平臺化服務：https://ai.baidu.com/easydl/pro

特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。