MLPerf的AI訓練性能測試基準有來自5家公司的63個「參賽者」提供了跑分結果,而參與推論性能測試基準跑分並提供成績的公司數量更多,共有來自14個組織的500組成績,包括來自多家新創公司的數字,不過有幾家知名的市場新秀顯然缺席。

在經過嚴格條件限制以實現系統之間直接比較性能的封閉性賽程中,比分結果顯示各個系統的性能分數達到5個量級(magnitude)的差異,而在預估功耗方面則橫跨了3個量級。在開放性的賽程中,參賽者則能利用一系列的模型,包括較低精確度的實作。

Nvidia的商用裝置在封閉賽程中的所有分組都獲得了第一名,其他領先者包括資料中心分組的Habana Labs、Google與Intel;而在邊緣裝置的分組中,Nvidia則與Intel以及Qualcomm相互較勁。市場研究機構Moor Insights and Strategy分析師Karl Freund表示:「Nvidia是唯一擁有能在MLPerf所有項目進行性能測試之量產晶片、軟體、可編程性以及人才的公司,而且他們幾乎在所有項目都勝出。」

Freund接著指出:「GPU的可編程性讓它們在未來的MLPerf測試結果中擁有獨特定位…我認為這證明了Nvidia實力的廣度,以及這些挑戰者的利基性質。但眾家挑戰者會隨著時間推移逐漸成熟,因此Nvidia會需要繼續在軟硬體技術上創新。」

Nvidia公佈的圖表展示了該公司對測試結果的詮釋,他們在商用裝置封閉賽程的所有4個情境中,將自己置於第一名位置。那些情境就是代表不同的使用案例,離線(offline)與伺服器情境則是針對資料中心推論的測試項目。其中離線情境可能代表大量圖片的離線標記,並量測純粹的處理量,伺服器情境則代表來自不同使用者、在無法預料的時間內送出的多個要求,量測在一個固定時間內的處理量。

邊緣推論情境則包括單一資料流(stream),例如針對手機應用程式中單一影像進行推論的時間;以及多資料流,也就是量測來自多個攝影機系統的多少個影像資料流能同時被推論。參與測試的公司能提供在上述四種情境中,針對選定機器學習模型執行影像分類、物體偵測以及語言翻譯的測試結果。

20191112_MLPerfNvidia_NT01P1

商用裝置在封閉賽程中的資料中心推論測試結果,以每個加速器為單位與Nvidia的分數進行比較。其中X代表未提交結果。
(來源:Nvidia)

「看資料中心推論的測試結果,Nvidia在包括伺服器與離線項目中的所有5個測試中都排名第一;」Nvidia加速運算產品管理總監Paresh Kharya表示:「我們的Turing GPU表現超越所有商用解決方案的產品。」他強調,Nvidia是唯一在資料中心與伺服器(這個情境的困難度更高)分組中提供所有5項基準測試模型跑分結果的公司,其性能表現優於競爭對手。

在資料中心分組中與Nvidia成績最接近的對手是以色列新創公司Habana Labs的Goya推論晶片;Moor Insights and Strategy的Freund表示:「Habana是唯一完全量產高性能晶片的挑戰者,在下一輪可望包含功耗表現資料的MLPerf測試中應該會表現優良。」

Habana Labs在接受EE Times訪問時指出,該測試成績完全以性能為基礎,功耗並不是一個量測標準,也非實用性(例如考量採用被動冷卻或水冷解決方案)與成本。Habana在開放性賽程中也展現了低延遲優勢,比起封閉性賽程能更進一步降低延遲;此外該公司也提交了多資料流情境中的測試結果。

20191112_MLPerfHabana_NT01P2

配備Goya推論晶片的Habana Labs PCIe卡。
(來源:Habana Labs)

在邊緣推論測試中,Nvidia則在商用方案的封閉式賽程所有4個項目中勝出。Qualcomm的Snapdragon 855 SoC以及Intel的Xeon CPU在單資料流情境中緊隨Nvidia,不過Qualcomm與Intel都沒有提交較困難的多資料流情境測試結果。

20191112_MLPerfNvidia_NT01P3

商用裝置在封閉賽程中的邊緣推論測試結果,以每個加速器為單位與Nvidia的分數進行比較。其中X代表未提交結果。
(來源:Nvidia)

至於「預覽版」(也就是還未正式上市的產品)系統分組的測試結果,則是讓阿里巴巴旗下平頭哥(T-Head)的含光(Hanguang)晶片與Intel的Nervana NNP-I、以色列業者Hailo的Hailo-8,以及美國業者Centaur Technologies的一款參考設計同台競爭。還有研發團隊分組的測試結果,則有一家仍在隱身模式的韓國新創公司Furiosa AI名列其中。查看完整的MLPerf推論測試成績請點此連結

編譯:Judith Cheng

(參考原文:Benchmark Scores Reveal Who’s Winning the AI Inference Race,by Sally Ward-Foxton)