AnandTech 報(bào)道稱，高通去年宣布的 Cloud AI 100 推理芯片平臺(tái)，現(xiàn)已投產(chǎn)并向客戶出樣，預(yù)計(jì) 2021 上半年可實(shí)現(xiàn)商業(yè)發(fā)貨。雖然更偏向于“紙面發(fā)布”，且未能披露硬件的更多細(xì)節(jié)，但借助其在移動(dòng) SoC 世界的專業(yè)知識(shí)，這也是該公司首次涉足數(shù)據(jù)中心 AI 推理加速器業(yè)務(wù)、并將之推向企業(yè)市場(chǎng)。

　　隨著芯片開始出樣，高通 Cloud AI 100 推理芯片終于從實(shí)驗(yàn)室走向了現(xiàn)實(shí)，并且披露了有關(guān)其架構(gòu)設(shè)計(jì)、性能功耗目標(biāo)在內(nèi)的諸多細(xì)節(jié)。

　　據(jù)悉，高通為商業(yè)化部署提供了三種不同的封裝形式，包括成熟的 PCIe 4.0 x8 接口(在 75W TDP 上實(shí)現(xiàn) 400 TOPS 算力)、以及 DM.2 和 DM.2e 接口(25W / 15W TDP)。

　　DM.2 的外形類似于彼此相鄰的兩個(gè) M.2 連接器，在企業(yè)市場(chǎng)上頗受歡迎。DM.2e 則是體型更小，封裝功耗也更低。

　　從架構(gòu)的角度來看，該設(shè)計(jì)借鑒了高通在驍龍移動(dòng) SoC 上部署的神經(jīng)處理單元(NPU)的豐富經(jīng)驗(yàn)，但仍基于一種完全針對(duì)企業(yè)工作負(fù)載而優(yōu)化的獨(dú)特架構(gòu)設(shè)計(jì)。

　　與當(dāng)前的通用計(jì)算硬件(CPU / GPU / FPGA)相比，專用型 AI 設(shè)計(jì)的最大優(yōu)勢(shì)，在于能夠?qū)崿F(xiàn)“傳統(tǒng)”平臺(tái)難以企及的更高的性能和能效目標(biāo)。

　　性能數(shù)據(jù)方面，高通拿目前業(yè)內(nèi)常用的解決方案進(jìn)行了對(duì)比，包括英特爾 Goya 和英偉達(dá) T4 推理加速器(基于砍了一刀的 TU104 GPU 芯片)，每瓦每秒的推理能力為 ResNet-50 。

　　據(jù)說 Cloud AI 100 在每瓦性能上較競(jìng)品實(shí)現(xiàn)了重大飛越，且高通在另一幅圖表中展示了一個(gè)相對(duì)公平的比較。

　　有趣的說法是，其甚至能夠在 75W 的 PCIe 外形尺寸內(nèi)擊敗英偉達(dá) Ampere 架構(gòu)的 250W A100 加速器。且在功耗降低 25% 的情況下，性能還較英特爾 Goya 加速器翻了一番。

　　這樣的性能數(shù)據(jù)，讓許多人覺得難以置信，不過從 Cloud A100 的芯片規(guī)格來看，事情其實(shí)并不簡(jiǎn)單。該芯片包含了 16 組 AI 內(nèi)核，和達(dá)成 400 TOPS 的 INT8 推理吞吐量。

　　輔以 4 路 @ 64-bit 的 LPDDR4X-4200(2100MHz)的內(nèi)存控制器，每個(gè)控制器管著 4 個(gè) 16-bit 通道，總系統(tǒng)帶寬達(dá) 134 GB/s 。

　　如果你對(duì)當(dāng)前的 AI 加速器設(shè)計(jì)比較熟悉，就知道它與英偉達(dá) A100 和英特爾 Goya 等推理加速器競(jìng)品的帶寬有較大差距，因?yàn)楹笳呔哂懈邘�寬緩�?HBM2)和高達(dá) 1-1.6 TB/s 的帶寬。

　　即便如此，高通還是設(shè)法為 Cloud AI 100 平臺(tái)配備了 144MB 的片上 SRAM 高速緩存，以達(dá)成盡可能高的存儲(chǔ)流量。

　　高通承認(rèn)，在工作負(fù)載的內(nèi)存空間占用超過片上 SRAM 的情況下，該架構(gòu)的性能將有所不同。但對(duì)于目標(biāo)客戶來說，這樣的平衡設(shè)計(jì)，仍是有意為之。

　　后續(xù)該公司還展望了更大的內(nèi)核、以及在多個(gè) Cloud AI 100 加速器之間橫向擴(kuò)展。在被問及如何達(dá)成 15W 至 75W 的動(dòng)態(tài)功耗范圍時(shí)，高通宣稱其正在調(diào)整頻率 / 電壓曲線，以及調(diào)制 AI 核心的數(shù)量。

　　想象一下，一套完整的 400 TOPS 75W 設(shè)計(jì)，包含了一個(gè)工作頻率較高的芯片。而 15W TDP 的版本，可能以較低的頻率在運(yùn)行。與此同時(shí)，7nm 的工藝節(jié)點(diǎn)，有助于其進(jìn)一步降低功耗。

　　精度方面，Cloud AI 100 的架構(gòu)體系支持 INT8 / INT16 和 FP16 / FP32 精度，能夠帶來足夠的靈活性。高通還提供了一組 SDK，以便為各項(xiàng)行業(yè)標(biāo)準(zhǔn)提供交換格式和框架支持。

　　高通公司目前正在向客戶提供 Cloud AI 100 推理加速器的樣品，主要部署目標(biāo)為工業(yè)和商業(yè)領(lǐng)域中的邊緣推理工作負(fù)載。

　　為推動(dòng)生態(tài)系統(tǒng)和為軟件開發(fā)提供支持，該公司還推出了新的 Cloud Edge AI 100 開發(fā)套件，其中包括了一個(gè)集成該加速器的小型計(jì)算設(shè)備、驍龍 865 SoC、以及用于蜂窩連接的 X55 5G 調(diào)制解調(diào)器。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。