中國經(jīng)濟(jì)網(wǎng)北京7月8日訊（記者 王惠綿） 近日，墨芯人工智能首次發(fā)布SparseOne S100在浪潮服務(wù)器中的測(cè)試數(shù)據(jù)，S100是全球首個(gè)高稀疏率AI計(jì)算卡，運(yùn)行多個(gè)AI主流模型，性能表現(xiàn)為國際大廠主流AI推理卡的6倍。

　　值得注意的是，這是墨芯首次披露S100運(yùn)行能夠?qū)崿F(xiàn)單卡推理大模型，突破單卡難以滿足高算力需求的瓶頸，有效解決業(yè)界對(duì)大模型，普遍采取多機(jī)多卡分布式的方式，完成推理所帶來的時(shí)間長、功耗高、成本高等問題。

　　近年來新興的NLP模型——T5，曾被稱為“全新NLP SOTA預(yù)訓(xùn)練模型”，以其高參數(shù)量，讓許多計(jì)算卡“望而卻步”。但在本次測(cè)試中，S100在單機(jī)單卡環(huán)境下就能運(yùn)行T5-8B模型，算力高達(dá)141.8 SPS。

　　除了高算力的優(yōu)勢(shì)，相較于當(dāng)前國際大廠主流推理卡單卡只能支持百億參數(shù)級(jí)別的模型，墨芯S100可以支持千億參數(shù)級(jí)別的模型。

　　在單機(jī)單卡環(huán)境，不影響精度的前提下，S100運(yùn)行BERT模型，SST-2數(shù)據(jù)集，性能達(dá)12176 SPS；S100運(yùn)行ResNet-50模型，ImageNet數(shù)據(jù)集，性能達(dá)28260 FPS。在主頻800 MHz的測(cè)試環(huán)境中，S100運(yùn)行ResNet-50模型時(shí)算力達(dá)33197 FPS。浪潮內(nèi)測(cè)主頻為700 MHz。

　　所有測(cè)試均是在實(shí)際環(huán)境中，S100計(jì)算卡能夠直接投入實(shí)際場(chǎng)景的使用，擁有較高的應(yīng)用價(jià)值。同時(shí)還能滿足高能效比、低功耗和高精度，為企業(yè)大幅降低部署成本和運(yùn)維成本。

　　據(jù)了解，S100超高性能源于稀疏化計(jì)算。而稀疏化的原理是指，在AI矩陣運(yùn)算中，將無效元素剔除，極大加快計(jì)算速度，降低計(jì)算成本。2021年8月，谷歌人工智能主管Jeff Dean在一次TED演講中表示，稀疏化是下一代AI架構(gòu)中最重要的趨勢(shì)之一。

　　墨芯作為稀疏化產(chǎn)業(yè)實(shí)踐者，其稀疏化計(jì)算解決方案具有廣闊的生態(tài)前景。墨芯人工智能創(chuàng)始人兼CEO王維表示，“墨芯將構(gòu)建涵蓋軟件、硬件、應(yīng)用的AI計(jì)算平臺(tái)，與研究人員、開發(fā)者、軟件開發(fā)商等合作伙伴一起，為各行各業(yè)用戶提供高性能AI計(jì)算服務(wù)，共同構(gòu)筑場(chǎng)景豐富、生機(jī)勃勃的稀疏化生態(tài)。”