嵌入式微處理器效能指標聯盟(Embedded Microprocessor Benchmark Consortium;EEMBC) 最近展開一項定義機器學習基準的任務,鎖定在網路邊緣的裝置上執行推論作業。該項任務源於另一項基準測試計劃——EEMBC計劃在今年6月針對先進駕駛輔助系統(ADAS)的晶片發佈測試基準。

這項工作至少是最近六個月來針對神經網路性能進行測量的第三項重要行動。它很可能是第一個瞄準用於功耗受限之嵌入式系統的晶片測試基準。

就在上個月,百度(Baidu)和Facebook宣佈與幾家晶片製造商聯手,發佈新的測試基準——MLPerf,首先專注於資料中心的訓練任務。去年12月,伺服器效能評測標準組織「交易處理效能委員會」(TPC)也組建了一個定義AI基準的工作小組,其重點也在訓練上。

EEMBC的AI工作小組主要圍繞在用於物聯網和其他嵌入式系統的智慧喇叭、節點與閘道器晶片等。該組織至今已開會三次了,目標是在明年六月之前發佈新的測試基準。獨立的ADAS基準已經在多家用戶展開beta測試了。

EEMBC總裁的Peter Torelli說:「當我們建構ADAS基準時,從要求工程師學習這個複雜領域中,發現了對於神經網路產生了濃厚興趣。」

到目前為止,該工作小組大約有來自Arm、ADI、英特爾(Intel)、輝達(Nvidia)、恩智浦(NXP)、三星(Samsung)、意法半導體(STMicroelectronics)和德州儀器(TI)等十幾家嵌入式處理器供應商成員。其目標在於廣納各種神經網路類型和用例。

Torelli說:「我們正在徵詢更多的意見,特別是來自整合商和OEM的元件選擇,以確保其可資利用。此外,我們還需要掌握哪些網路架構較重要、哪些架構可以移植到邊緣。」

該基準旨在測量原始推論性能以及啟動神經網路模型的時間。該組織還希望能夠以標準方式定義一種測量任務功效的方法。

該計劃旨在使用行為模型,讓使用者採納其所選擇的任何架構或執行時間,以期能實現最佳化。組織成員們也在討論測試是否將包含代表低、中、高複雜度任務的等級。

這項任務由英特爾電腦視覺和機器學習工程總監Ramesh Jaladi擔任主席,負責各種系統的基準測試工作。

Arm稱讚EEMBC過去各種在嵌入式處理器基準測試的出色表現,但也指出現在仍然是AI開發工作的早期階段。該公司也與中國的AI產業聯盟合作推動另一項基準測試。

「我們將積極地協助業界推動一系列有用的AI基準測試,」Arm機器學習團隊行銷副總裁Dennis Laudick說。

EEMBC另一項ADAS基準測試以OpenCL為基礎,並從3大面向測試8種運算元素——包括2D影像檢測、輪廓檢測以及使用卷積神經網路進行推論。此外,還有一家汽車製造商從2年前開始就參與了這項計劃。

編譯:Susan Hong

(參考原文:AI Benchmark Targets Inference,by Rick Merritt)