隨著社會的發(fā)展,科技的進步,5G 落地、AI 爆發(fā)、大數(shù)據(jù)持續(xù)突破、云計算已然成為新時代的水電煤。日益增多的新興技術(shù),為開發(fā)者帶來機遇的同時也帶來了不少挑戰(zhàn)。盡管開發(fā)者們經(jīng)常身處歷史性事件的前沿,但由于很多技術(shù)學(xué)習(xí)門檻較高,且沒有相對完整的配套技術(shù)生態(tài),開發(fā)者們其實很難時刻保持良好的學(xué)習(xí)曲線。

　　在簡化開發(fā)、降低技術(shù)門檻、提高研發(fā)效率等方面,華為每年投入大量的資金和人力,而小編將為大家介紹的這十大硬核技術(shù),正是華為加速技術(shù)發(fā)展、構(gòu)建產(chǎn)業(yè)生態(tài)的助燃劑。

　　在小編看來,作為開發(fā)者,了解學(xué)習(xí)到這 TOP 10 技術(shù),不僅可以了解技術(shù)產(chǎn)業(yè)前沿趨勢,也是為未來職業(yè)生涯發(fā)展打基礎(chǔ)。因為技術(shù)隱藏在產(chǎn)品之后,看不見摸不著,開發(fā)者們也可以先行體驗華為承接的系列核心產(chǎn)品,感受強大技術(shù)背后的黑科技力量。

　　TOP 1 達芬奇架構(gòu)

　　毋庸置疑,AI 技術(shù)正成為各行業(yè)數(shù)字化轉(zhuǎn)型的發(fā)動機,大到智慧城市,小到 IoT 等,都少不了 AI 的身影。那么多的應(yīng)用場景,如何才能實現(xiàn) AI 在多平臺、多場景之間的協(xié)同?

　　華為用達芬奇架構(gòu)給出了答案。作為華為自研的面向 AI 計算特征的全新計算架構(gòu),達芬奇架構(gòu)具備高算力、高能效、靈活可裁剪的特性。

　　具體說來,達芬奇架構(gòu)采用 3D Cube 針對矩陣運算做加速,大幅提升了單位功耗下的 AI 算力,同時還集成了向量、標(biāo)量、硬件加速器等多種計算單元,輔以最小的計算代價增加矩陣乘的算力,來提升 AI 計算的完備性和不同場景的 AI 能效。

(3D Cube)

　　而靈活可裁剪的特性則讓達芬奇架構(gòu)能夠滿足端側(cè)、邊緣側(cè)及云端的應(yīng)用場景,可用于小到幾十毫瓦,大到幾百瓦的訓(xùn)練場景,解鎖 AI 的無限可能。

　　以華為昇騰處理器為例,昇騰系列處理器就采用了統(tǒng)一的、可擴展的達芬奇架構(gòu),是全球第一個覆蓋全場景的人工智能芯片系列,無論在低功耗的邊緣場景,還是大算力的數(shù)據(jù)中心場景,昇騰系列都將提供出色的性能和能效比。

　　此前,華為推出的目前業(yè)界單芯片計算密度最大的處理器昇騰 910 就可應(yīng)用于自動駕駛、平安城市、智能制造、運營商、金融等應(yīng)用場景。

(昇騰 910 處理器)

　　不僅如此,華為還基于達芬奇架構(gòu)提供了高性能的人工智能計算平臺 Atlas。通過 Atlas 200 DK AI 開發(fā)者套件,開發(fā)者可以在 30 分鐘內(nèi)完成開發(fā)環(huán)境搭建,內(nèi)置的圖形化編程環(huán)境,將極大地提升開發(fā)效率。并且,得益于昇騰處理器的全棧全場景能力,基于開發(fā)者套件開發(fā)的程序只需一次開發(fā),即可實現(xiàn)端、邊、云全場景部署。

　　依托采用達芬奇架構(gòu)的華為昇騰系列 AI 芯片提供的超強算力和全場景需求覆蓋,Atlas 已實現(xiàn)算力、邊界兩大突破。可以說,達芬奇架構(gòu)滿足了人工智能領(lǐng)域?qū)Ω咚懔�和低功耗的需�?是專為人工智能算力需求而設(shè)計的芯片架構(gòu)。

　　由此可以說,達芬奇架構(gòu)是華為面向開發(fā)者的十大“嚇人技術(shù)”的當(dāng)之無愧的 TOP1。

　　TOP 2 A-Tune 智能調(diào)優(yōu)技術(shù)

　　對開發(fā)者來說,要想軟件獲得更好的體驗,手動調(diào)優(yōu)是個必不可少的過程。不過現(xiàn)在計算機硬件結(jié)構(gòu)越來越復(fù)雜,豐富多樣的應(yīng)用對資源的需求也各不相同,這也導(dǎo)致調(diào)優(yōu)過程異常復(fù)雜。

　　為了減少開發(fā)者在軟件調(diào)優(yōu)上消耗的時間,華為 A-Tune 智能調(diào)優(yōu)技術(shù),可以在程序運行中實時感知應(yīng)用的運行特征,使系統(tǒng)主動調(diào)整底層資源;還可以通過學(xué)習(xí)引擎對特征進行建模,根據(jù)業(yè)務(wù)負載去匹配最佳資源模型,通過負反饋持續(xù)優(yōu)化。

　　簡而言之,A-Tune 技術(shù)相當(dāng)于在現(xiàn)有系統(tǒng)上加裝了大腦,讓系統(tǒng)“懂”業(yè)務(wù)場景,給出最合適的資源模型,使得系統(tǒng)運行更加智能,達到應(yīng)用性能加速的目的。

　　由于不必考慮硬件和系統(tǒng)的底層細節(jié),即使是入門開發(fā)者,也能達到調(diào)優(yōu)效果,高階開發(fā)者更可針對具體的業(yè)務(wù)場景進行定制,實現(xiàn)更細粒度的調(diào)優(yōu)。通過將應(yīng)用 & 系統(tǒng)性能做到最優(yōu),A-Tune 技術(shù)可以從總體上降低成本。比如,以前你可能需要購買 10 臺服務(wù)器才能完成的工作,現(xiàn)在可能需要 7-8 臺服務(wù)器就能實現(xiàn)。

　　目前,基于 A-Tune 技術(shù)構(gòu)建的華為自研操作系統(tǒng) openEuler,就體現(xiàn)出了高安全性、高可擴展性、高性能等優(yōu)勢特點。首先,openEuler 能夠以加固策略、內(nèi)核級 OS 安全能力、及多款安全漏掃工具等有效防止入侵,保障系統(tǒng)安全。

　　同時,openEuler 能夠向用戶提供服務(wù)保障體系,保證超長期的可靠性和穩(wěn)定性。另外,openEuler 在編譯系統(tǒng)、虛擬存儲系統(tǒng)、CPU 調(diào)度、IO 驅(qū)動、網(wǎng)絡(luò)和文件系統(tǒng)等方面也做了大量的優(yōu)化。作為高性能的操作系統(tǒng)平臺,openEuler 能夠滿足客戶從傳統(tǒng) IT 基礎(chǔ)設(shè)施到云計算服務(wù)的各種需求。

　　如此友好的技術(shù),排在 TOP 2 也是當(dāng)之無愧的吧。

　　TOP 3 S2S 自動微分

　　第三個技術(shù)我們來說說自動微分。

　　資深的深度學(xué)習(xí)開發(fā)者應(yīng)該都體會過手動求解的痛苦,不僅求導(dǎo)過程復(fù)雜,結(jié)果還很容易出錯,好在現(xiàn)在有深度學(xué)習(xí)框架,可以利用自動微分技術(shù)輕松解決這個復(fù)雜又關(guān)鍵的過程。

　　我們都知道,深度學(xué)習(xí)框架的自動微分根據(jù)實現(xiàn)原理的不同,分為以 Google 的 TensorFlow 為代表的圖方法,以 Facebook 的 PyTorch 為代表的運算符重載,以及以華為自研的 MindSpore 為代表的源碼轉(zhuǎn)化方法(Source To Source,S2S)。

(自動微分)

　　前不久,華為剛發(fā)布了自研的全場景 AI 計算框架 MindSpore,而在 MindSpore 中的自動微分就采用了 S2S 形式。在性能和可編程性上,S2S 自動微分顯著優(yōu)于業(yè)界圖和運算符重載方式,開發(fā)者無需重新學(xué)習(xí)一套新的表達邏輯(圖邏輯),用原生 Python 就能實現(xiàn) AI 算法。

　　同時,S2S 自動微分能夠?qū)崿F(xiàn)任意算子的微分表達和編譯優(yōu)化,同時實現(xiàn)反向算子自動生成,極大地方便模型開發(fā),為開發(fā)者的代碼帶來更佳性能。在軟件硬件協(xié)同方面,支持自動優(yōu)化,無需像其他兩種方式需要手動定制。

　　此外,S2S 自動微分還有著豐富的調(diào)試手段。開發(fā)者可以使用可視化接口,方便觀察程序運行時的狀態(tài),同時支持動態(tài)執(zhí)行,幫助開發(fā)者在程序運行時進行代碼調(diào)試。

　　基于此項技術(shù),華為 MindSpore 不僅可以支持端、邊、云獨立的和協(xié)同的統(tǒng)一訓(xùn)練和推理,同時支持華為提出的全場景。通過這款完整的軟件堆棧,華為正在實現(xiàn)一次性算子開發(fā)、一致的開發(fā)和調(diào)試體驗,以此幫助開發(fā)者實現(xiàn)一次性開發(fā),應(yīng)用在所有設(shè)備端、邊緣及云端平滑遷移的能力。

　　值得一提的是,MindSpore 預(yù)計將在 2020 年 Q1 開源。

　　TOP 4 分布式深度學(xué)習(xí)技術(shù)

　　通常,深度學(xué)習(xí)訓(xùn)練過程涉及大規(guī)模參數(shù)的網(wǎng)絡(luò)間傳遞。TensorFlow 使用中心化的網(wǎng)絡(luò)參數(shù)服務(wù)器(Parameter Server)來承擔(dān)梯度的收集、平均和分發(fā)工作,對 server 節(jié)點的訪問會成為瓶頸,帶寬利用率低。

　　為了提高深度學(xué)習(xí)訓(xùn)練效率,華為采用了 AllReduce 算法進行梯度聚合來優(yōu)化帶寬,這樣可以同時利用多個工作節(jié)點,分布式地、高效地訓(xùn)練出性能優(yōu)良的神經(jīng)網(wǎng)絡(luò)模型。

　　同時對傳輸?shù)奶荻冗M行融合,對小于閾值大小的梯度多次傳輸合并為一次,提升帶寬利用率;另外在通信底層采用 NVIDIA 的 NvLink、P2P 等技術(shù)來提升節(jié)點內(nèi)和節(jié)點間通信帶寬,降低通信時延。

　　一般情況下,在衡量分布式深度學(xué)習(xí)的加速性能時,主要有吞吐量和收斂時間兩個重要指標(biāo)。而對開發(fā)者而言,最關(guān)心的指標(biāo)也是收斂時間。內(nèi)置的分布式深度學(xué)習(xí)技術(shù)使得華為云 ModelArts 訓(xùn)練速度有了很大的提升,同時以全棧優(yōu)化極大地縮短了訓(xùn)練收斂時間。2019 年 5 月在斯坦福大學(xué) DAWNBench 榜單中,華為云 ModelArts 就以 2 分 43 秒的成績獲得圖像識別訓(xùn)練世界第一。

　　TOP 5 圖神經(jīng)網(wǎng)絡(luò)

　　現(xiàn)實世界中,大量數(shù)據(jù)都能被圖建模,但當(dāng)前的深度學(xué)習(xí)還是以 CNN、RNN 等技術(shù)(對應(yīng)圖像識別、文本挖掘等領(lǐng)域)為主。然而,這些技術(shù)其實并不能有效地處理圖結(jié)構(gòu)數(shù)據(jù),尤其是涉及到基因網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、商品推薦等復(fù)雜應(yīng)用場景。

　　而圖神經(jīng)網(wǎng)絡(luò)(GNN)則可以解決這個問題,它借鑒了深度學(xué)習(xí)中卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和深度自編碼器的思想,進行表征學(xué)習(xí)(如節(jié)點嵌入和子圖嵌入),或者利用標(biāo)簽和屬性信息,以半監(jiān)督或純無監(jiān)督的方式在端到端學(xué)習(xí)框架中訓(xùn)練。

　　圖數(shù)據(jù)的復(fù)雜性對現(xiàn)有機器學(xué)習(xí)算法提出了重大挑戰(zhàn),因為圖數(shù)據(jù)是不規(guī)則的。每張圖大小不同、節(jié)點無序,一張圖中的每個節(jié)點都有不同數(shù)目的鄰近節(jié)點,使得一些在圖像中容易計算的重要運算(如卷積)不能再直接應(yīng)用于圖。

　　為此,華為提供了更易用的圖神經(jīng)網(wǎng)絡(luò)平臺。據(jù)了解,該平臺在反欺詐、營銷推薦、3D 視覺方面的商業(yè)潛力不可小覷。

　　作為華為云 ModelArts 的關(guān)鍵新特性之一,ModelArts 圖深度學(xué)習(xí)的核心就是圖神經(jīng)網(wǎng)絡(luò)技術(shù),這也使得華為云 ModelArts“視力”優(yōu)良,同時在 ModelArts 的高效神經(jīng)網(wǎng)絡(luò)訓(xùn)練算子的基礎(chǔ)上,結(jié)合 GES 既有的高性能圖計算框架平臺能力,充分利用圖引擎高并發(fā)、低延時的特點,將 GNN 的訓(xùn)練過程高度并行化;使用統(tǒng)一架構(gòu)實現(xiàn)了非監(jiān)督的大規(guī)模圖嵌入(例如 DeepWalk, Node2Vec)和半監(jiān)督的圖卷積(例如 GCN, GraphSage)等多類 GNN 算法,降低了系統(tǒng)的維護成本,也降低了開發(fā)者使用 GNN 算法的門檻。

　　TOP 6 輕量級的云化集成開發(fā)環(huán)境

　　有了平臺,有了算法,開發(fā)者還缺少什么呢?當(dāng)然是開發(fā)環(huán)境,而且還是隨時隨地可以 Code 的環(huán)境,華為輕量級的云化集成開發(fā)環(huán)境(Cloud IDE)正是滿足開發(fā)者 Code anywhere anytime 的法門。

　　可以說,華為 Cloud IDE 服務(wù)定義了一種新的在線編程體驗。基于開源的華為自研內(nèi)核,Cloud IDE 結(jié)合代碼編輯器的輕量極速、快速文件和目錄訪問操作和多語言高亮顯示等特性和 IDE 的代碼調(diào)試和代碼理解的能力。

　　開發(fā)者可以在任意聯(lián)網(wǎng)的瀏覽器中快速開始編碼、測試和調(diào)試等開發(fā)活動,體驗和本地 IDE 一樣擁有高性能和快速的表現(xiàn)。同時內(nèi)核還集成了華為的代碼分析、檢查能力和 AI 輔助編碼能力。尤其 AI 輔助編碼把傳統(tǒng) IDE 的智能聯(lián)想功能提升到了智能的新高度,通過機器學(xué)習(xí)算法訓(xùn)練特定語言模型,用戶的代碼上下文作為模型輸入,模型給出預(yù)測結(jié)果作為輸出,讓開發(fā)者編碼效率和代碼質(zhì)量能得到海量提升。

　　簡單地說,借助 Cloud IDE 服務(wù),開發(fā)者可以隨時隨地進行編程,即便是身在國外度假,即便沒有帶工作電腦,只要有一個能訪問瀏覽器的終端,即可隨時隨地解決線上生產(chǎn)環(huán)境緊急故障,避免臨時取消休假回去救火的窘境發(fā)生。

　　毫不夸張地說,Cloud IDE 正在成為廣大開發(fā)者云端開發(fā)的秘密武器。基于此項技術(shù),華為云 DevCloud 作為一站式云端 DevOps 平臺,能面向開發(fā)者提供更便捷的研發(fā)工具服務(wù),讓軟件開發(fā)變得更加簡單高效。

　　TOP 7 可視化全流程 AI 開發(fā)工程化技術(shù)

　　開發(fā)者都知道,在 AI 開發(fā)過程中,需經(jīng)歷 AI 開發(fā)數(shù)據(jù)集準(zhǔn)備、模型訓(xùn)練、參數(shù)調(diào)整等一系列步驟,而當(dāng)面臨調(diào)優(yōu)迭代情況時,就很容易造成實驗過程難以追蹤、流程難以追溯等問題。

　　為了解決開發(fā)者從數(shù)據(jù)集管理到模型構(gòu)建產(chǎn)生的諸多問題,全流程可視化就很有必要了。華為可視化全流程 AI 開發(fā)工程技術(shù)可實現(xiàn)對千萬級模型、數(shù)據(jù)集以及服務(wù)等對象的管理,無需人工干預(yù),自動生成溯源圖,換句話來說,便是選擇任一模型,就能找到對應(yīng)的數(shù)據(jù)集、參數(shù)、模型部署在哪里,你可以一目了然地將可視化訓(xùn)練任務(wù)及結(jié)果進行比對。

　　作為搭載可視化全流程 AI 開發(fā)工程化技術(shù)的一站式 AI 開發(fā)平臺,華為云 ModelArts 提供 AI 開發(fā)全生命周期管理,從原始數(shù)據(jù)、標(biāo)注數(shù)據(jù)、訓(xùn)練作業(yè)、算法、模型、推理服務(wù)等,統(tǒng)統(tǒng)提供全流程可視化管理服務(wù),大幅降低開發(fā)門檻、提升開發(fā)效率。

　　目前,華為云 ModelArts 已經(jīng)適用于建筑、互聯(lián)網(wǎng)、醫(yī)療等諸多行業(yè)場景。例如, 在建筑業(yè),ModelArts 能夠賦能質(zhì)檢、巡查等場景, 如產(chǎn)品缺陷檢測、合規(guī)檢測、異常識別、安全穿戴等 ; 在互聯(lián)網(wǎng)行業(yè),ModelArts 的智能數(shù)據(jù)標(biāo)注技術(shù)及高性能大規(guī)模模型訓(xùn)練, 大幅度提高模型開發(fā)效率、縮短模型開發(fā)周期 (從月到天)。

(ModelArts 全流程可視化管理)

　　TOP 8 多模分布式數(shù)據(jù)庫

　　隨著數(shù)字化轉(zhuǎn)型的深入,企業(yè)亟待解決的是數(shù)字化能力的提升。而企業(yè)如何提升數(shù)字化能力,或許就在于數(shù)據(jù)挖掘與數(shù)據(jù)處理的能力是否強勁。當(dāng)大企業(yè)的數(shù)據(jù)存儲需求日益增長,單機數(shù)據(jù)庫無法滿足大企業(yè)的業(yè)務(wù)需求時,分布式數(shù)據(jù)庫便成了行業(yè)首選,為開發(fā)者提供以 100% 兼容開源接口、多模型一致運維,具備高性能、低成本、高可靠、高安全、易管理的特點。

　　華為云 Taurus 作為新一代企業(yè)級分布式數(shù)據(jù)庫,在解決海量存儲與極高并發(fā)性能場景上有著極具競爭力的技術(shù)優(yōu)勢。而作為業(yè)界超強性能的分布式多模 NoSQL 數(shù)據(jù)庫,華為云 GeminiDB 則具備高性價比的優(yōu)勢,為大型企業(yè)級業(yè)務(wù)保駕護航。

　　TOP 9 智能化的軟件開發(fā)技術(shù)

　　經(jīng)過幾十年的軟件開發(fā),人們對軟件質(zhì)量與效率需求正在不斷提升。高質(zhì)量與高效率的開發(fā)要求之下,開發(fā)相關(guān)的數(shù)據(jù)(例如:代碼、文檔、檢視意見、測試用例、問題單等等)便顯得尤為重要。

　　如何才能獲得數(shù)據(jù)價值?工作重心便是通過利用機器學(xué)習(xí)技術(shù)對這些數(shù)據(jù)進行挖掘、清洗,并進一步將其與語法樹、數(shù)據(jù)流、控制流等基本分析技術(shù),以及符號執(zhí)行、抽象解釋等高級軟件分析技術(shù),甚至是自然語言技術(shù)相結(jié)合,并且還能在這個過程中將其中包含的各種開發(fā)知識復(fù)用起來。這樣就不簡單了。

　　經(jīng)過幾十年的軟件開發(fā)實踐,華為積累了與開發(fā)相關(guān)的大量數(shù)據(jù),通過各種具體工具的支持,華為智能化的軟件開發(fā)技術(shù)可以幫助開發(fā)者降低開發(fā)過程中低價值、重復(fù)性的勞動,例如自動發(fā)現(xiàn)常見的編碼錯誤,對部分錯誤給出修復(fù)好代碼,自動對多人編碼過程產(chǎn)生的沖突進行消解,在某些場景下,甚至自動生成一些高價值的代碼,幫助定位運行錯誤等等。

　　基于此,華為云 DevCloud 可以讓開發(fā)團隊隨時隨地在云端進行項目管理、代碼托管、代碼檢查、編譯構(gòu)建、測試、部署、發(fā)布等,大幅提升了個人和團隊的交付能力和效率,提升自動化運維質(zhì)量,幫助軟件企業(yè)提高競爭力。

　　TOP 10 LiteOS IoT Stack 技術(shù)

　　不得不說,物聯(lián)網(wǎng)的出現(xiàn)將以往人與物、物與物的連接方式重構(gòu)。在 5G 浪潮的推動下,萬物互聯(lián)的世界將加速到來。但從目前的整體進程看,物聯(lián)網(wǎng)產(chǎn)業(yè)仍處于成長階段,技術(shù)突破、行業(yè)融合、規(guī)模應(yīng)用等方面都還存在較大的發(fā)展空間。面對物聯(lián)網(wǎng)帶來的巨大發(fā)展機遇和挑戰(zhàn),Huawei LiteOS IoT Stack 技術(shù)應(yīng)運而生。

(華為 LiteOS IoT 方案)

　　該技術(shù)遵循 BSD-3 開源許可協(xié)議,具備輕量級、低功耗、端云協(xié)同、即插即用、組件豐富、快速開發(fā)等關(guān)鍵能力,能夠基于物聯(lián)網(wǎng)領(lǐng)域業(yè)務(wù)特征打造領(lǐng)域性技術(shù)棧,為開發(fā)者提供“一站式”完整軟件平臺,有效降低開發(fā)者的開發(fā)成本和難度、縮短開發(fā)周期。

　　基于 Huawei LiteOS IoT Stack 技術(shù),華為打造了 OceanConnect IoT 平臺。簡單來說,OceanConnect 是華為云核心網(wǎng)推出的以 IoT 聯(lián)接管理平臺為核心的 IoT 生態(tài)圈。基于統(tǒng)一的 IoT 聯(lián)接管理平臺,通過開放 API 和系列化 Agent,它能夠?qū)崿F(xiàn)與上下游產(chǎn)品能力的無縫聯(lián)接,為客戶提供端到端的高價值行業(yè)應(yīng)用。目前,LiteOS IoT Stack 通過開放生態(tài)快速打造了行業(yè)標(biāo)桿,在智慧消防、智慧水務(wù)、智慧物流、智慧園區(qū)等場景都已有成功實踐的案例。

　　結(jié) 語

　　AI、5G、云計算、大數(shù)據(jù)等技術(shù)都在快速發(fā)展,華為也一直未停下創(chuàng)新的步伐。在為千行百業(yè)打造技術(shù)底座這件事上,華為無疑是最用心的企業(yè)之一。現(xiàn)在,基于這 10 大嚇人技術(shù),華為勢必能為開發(fā)者以及各行業(yè)構(gòu)建出更強大、高效的技術(shù)產(chǎn)品與解決方案矩陣,為構(gòu)建萬物互聯(lián)的智能世界持續(xù)賦能。

　　9 月 18-20 日,華為面向 ICT 產(chǎn)業(yè)的全球年度旗艦級大會——2019 華為全聯(lián)接大會(HUAWEI CONNECT 2019)將在上海世博中心開幕。9 月 20 日,更有以開發(fā)者為主角的 Keynote 演講及百場 Session,上述提到的華為面向開發(fā)者的“十大嚇人技術(shù)”,都可以在百場 Session 中找到,屆時也會有來自技術(shù)大咖們更全方位的解讀。

　　前往現(xiàn)場,便可與頂級開發(fā)大神面對面,了解更多關(guān)于華為嚇人技術(shù)的最新理論與實踐!點擊華為全聯(lián)接大會官網(wǎng),立刻進入華為全聯(lián)接大會傳送門!

　　https://www.huawei.com/cn/press-events/events/huaweiconnect2019?ic_medium=hwdc&ic_source=corp_event2_hc2019