燧原科技發(fā)布云端AI推理卡云燧i20，基于自研AI芯片“邃思”打造
較第一代浮點算力提升1.8倍，整型算力提升3.6倍
蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
時隔5個月，燧原科技又推出了第二代云端人工智能推理加速卡“云燧i20”。
沒錯，繼今年7月發(fā)布云端人工智能訓(xùn)練加速卡“云燧T20”之后，燧原科技又推出的全新一代針對云端推理場景的AI加速產(chǎn)品。
燧原科技CEO趙立東表示：
當(dāng)前，我國芯片產(chǎn)業(yè)正處于激烈的成長與蛻變時代。
燧原科技以“做大芯片，拼硬科技”為時代使命，基于原始創(chuàng)新的軟硬件架構(gòu)，正在不斷加速技術(shù)創(chuàng)新與產(chǎn)品迭代。性能趕超業(yè)內(nèi)旗艦GPU的云燧i20，正是我們的關(guān)鍵成果之一?！?/p>
“云燧i20”長啥樣？
對比第一代推理產(chǎn)品，云燧i20將浮點算力提升到1.8倍，整型算力提升到3.6倍。
作為第二代云端AI推理加速卡，云燧i20存儲帶寬高達819 GB/s，同時支持從FP32、TF32、FP16、BF16到INT8的計算精度。
其中，單精度FP32峰值算力達到32 TFLOPS，單精度張量TF32峰值算力達到128 TFLOPS，整型INT8峰值算力達到256 TOPS。
據(jù)燧原科技表示，隨著神經(jīng)網(wǎng)絡(luò)的參數(shù)越來越多，數(shù)據(jù)帶寬需求也越來越高，因此兼顧高帶寬和低延遲變得至關(guān)重要。
此外，燧原科技從性能、開發(fā)效率和模型覆蓋面上，對“馭算TopsRider”軟件棧進行了升級。
其一，通過引入通用高層圖優(yōu)化和大規(guī)模算子融合技術(shù)，充分釋放了大容量片內(nèi)存儲和高帶寬存儲的利用率，將模型平均性能提升3.5倍，硬件算力利用率平均提升2倍；
其二，通過升級的編程模型以及算子自動分片、自動生成技術(shù)，自定義算子開發(fā)效率翻倍，模型遷移成本大大降低；
其三，馭算增強了對動態(tài)性的支持，使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。
基于虛擬化和多實例加速技術(shù)，云燧i20能夠?qū)崿F(xiàn)單卡多用戶，同時支持6個業(yè)務(wù)互不干擾、安全隔離運行。
燧原科技相關(guān)AI產(chǎn)品正在落地
此外，燧原科技發(fā)布的新一代“邃思”AI推理芯片，采用第二代高性能計算核心和數(shù)據(jù)引擎，由12nm工藝打造，通過架構(gòu)升級來提高單位面積的晶體管效率。
目前，燧原科技的云端AI推理產(chǎn)品，已經(jīng)在互聯(lián)網(wǎng)、金融、政務(wù)等多家客戶的商業(yè)落地。
其中，之江實驗室發(fā)展合作部副部長吳麗娟表示：
之江實驗室今年3月與燧原科技成立聯(lián)合研究中心，圍繞人工智能應(yīng)用場景，共同開發(fā)具有標(biāo)桿性的技術(shù)解決方案，構(gòu)建開源開放的創(chuàng)新生態(tài)系統(tǒng)。
目前，燧原科技的第一代人工智能訓(xùn)練產(chǎn)品“云燧T11”正在之江實驗室搭建千卡高性能計算的液冷集群，打造符合國家碳中和政策導(dǎo)向的低碳綠色數(shù)據(jù)中心。
相關(guān)閱讀
報名 | 四場直播講透AI芯片的應(yīng)用與挑戰(zhàn)、剖析技術(shù)難點，芯片的所有知識點都在這了
在本次云展覽上，燧原科技將會詳細展示“邃思”高性能人工智能訓(xùn)練芯片、“云燧T10”人工智能訓(xùn)練加速卡，ESL智能互聯(lián)以及“馭算”計算及編程平臺。
數(shù)牘科技蔡超超：數(shù)據(jù)價值挖掘和保護可以兼顧，隱私計算已有不少落地案例丨MEET2022
有數(shù)據(jù)價值交換的地方，就有隱私計算需求的存在。
