曉查 發(fā)自 凹非寺
量子位 編譯 | 公眾號 QbitAI
今天MLPerf基準聯(lián)盟公布了第一批AI芯片的推理測試結(jié)果，對來自19個公司機構(gòu)的594種芯片在各種自然語言和計算機視覺任務(wù)中的表現(xiàn)進行了審核。
來自中國、以色列、韓國、英國和美國的公司紛紛提交了測試結(jié)果，這些公司包括：阿里巴巴、戴爾EMC、谷歌、浪潮、英特爾、英偉達、米蘭理工大學、高通和騰訊等等。
測試內(nèi)容
MLPerf推理測試v0.5分為5個基準，涵蓋了圖像分類（ResNet50），目標檢測（ResNet34）和機器翻譯（GNMT）等任務(wù)。
進一步完善的問題是，所有基準都提供了四種方案：單流模式（一個客戶端使用一個源）、多流模式（一個客戶端使用多個源）、服務(wù)模式（實時、每秒關(guān)注一次查詢）和離線模式（不受實時限制的服務(wù)器）。
這些模式將測試分解為客戶端和服務(wù)器兩個部分。
MLPerf推理基準用于衡量訓練過的神經(jīng)網(wǎng)絡(luò)在不同量級的設(shè)備（物聯(lián)網(wǎng)、智能手機、PC、服務(wù)器）、各種應(yīng)用（自動駕駛、NLP、計算機視覺）上處理新數(shù)據(jù)的速度。
測試結(jié)果類似于PC硬件上的性能天梯圖，覆蓋了性能差異4個數(shù)量級，功耗差異3個數(shù)量級的設(shè)備，范圍從嵌入式設(shè)備和智能手機到大型數(shù)據(jù)中心系統(tǒng)。
國產(chǎn)芯片奪冠
在所有測試的芯片中，英偉達在四種方案中均取得了單加速器最佳成績。
在MobileNet-v1、ResNet-50 v.1.5、GNMT等5個任務(wù)中，英偉達圖靈架構(gòu)的芯片在服務(wù)器、離線兩個模式下具有最佳性能。
令人注意的是，前不久阿里平頭哥發(fā)布的AI推理芯片“含光800”在多項基準測試中獲得單芯片性能第一。
含光800參加了適用于圖像分類任務(wù)的Resnet50 v1.5基準測試，在四個場景都取得了單芯片第一的成績。
離線模式測試的是芯片推理的最大吞吐量，最能考驗芯片的計算、存儲、通信等基本功。含光800的成績?yōu)?9306.60 IPS，單芯片性能是谷歌TPU v3的8.5倍、Nvidia T4的12倍。
關(guān)于MLPerf
MLPerf是業(yè)內(nèi)首套衡量機器學習軟硬件性能的通用基準，由圖靈獎得主David?Patterson聯(lián)合谷歌和幾所著名高校于2018年發(fā)起。
MLPerf基準聯(lián)盟現(xiàn)有50多家成員，包括谷歌、微軟、Facebook、阿里巴巴等企業(yè)和斯坦福、哈佛、多倫多大學等高校。
今夏，MLPerf已經(jīng)發(fā)布了AI訓練測試基準，近日發(fā)布的MLPerf Inference v0.5是其公布的第一個AI推理測試基準。
MLPerf推理測試結(jié)果：
https://mlperf.org/inference-results/
