以微控制器為基礎的Glow神經網路編譯器

作者 : NXP Semiconductors

恩智浦半導體(NXP Semiconductors)宣佈eIQ機器學習(ML)軟體對Glow神經網路(Neural Network,NN)編譯器的支援功能,針對恩智浦的i.MX RT跨界微控制器,帶來業界首款能夠實現佔用較低記憶體並提供更高效能的神經網路編譯器應用。

恩智浦半導體(NXP Semiconductors)宣佈eIQ機器學習(ML)軟體對Glow神經網路(Neural Network,NN)編譯器的支援功能,針對恩智浦的i.MX RT跨界微控制器,帶來業界首款能夠實現佔用較低記憶體並提供更高效能的神經網路編譯器應用。

Glow編譯器由Facebook開發,能夠整合特定目標的最佳化,恩智浦利用這種能力,使用適用於Arm Cortex-M核心和Cadence Tensilica HiFi 4 DSP的神經網路運算元庫(NN operator libraries),最大程度地提升i.MX RT685以及i.MX RT1050和RT1060的推論效能。此外,此功能已整合至恩智浦的eIQ機器學習軟體開發環境中,於恩智浦的MCUXpresso軟體開發套件(Software Development Kit,SDK)中免費提供。

2018年5月,率先開發PyTorch的Facebook導入Glow (Graph Lowering神經網路編譯器),作為開放源碼社群專案,其目的是藉由最佳化提高一系列硬體平台上的神經網路效能。作為神經網路編譯器,Glow能在尚未最佳化的神經網路的基礎上,生成高度最佳化的代碼。

此特點有別於典型的神經網路模型處理(neural network model processing),後者採用即時編譯,因此需要更高的效能,並增加記憶體消耗。像Glow這樣直接運作最佳化的代碼可以顯著降低處理與記憶體要求。恩智浦也在Glow開源社區中扮演著積極角色,幫助推廣和普及Glow的新功能。

未來幾年內,對機器學習應用的需求預期將大幅增加。據TIRIAS Research預測,2025年,98%的邊緣裝置將使用某種形式的機器學習/人工智慧。根據市場預測,屆時即使沒有專用的機器學習加速器(machine learning accelerator),也將有180億至250億部裝置具有機器學習功能。消費型裝置製造商和嵌入式物聯網開發人員將需要將機器學習框架最佳化,進而實現使用微控制器的低功耗邊緣嵌入式應用。

恩智浦針對機器學習的邊緣智慧環境解決方案是一個全面的工具套件(toolkit),提供開發人員需要的建構模組,幫助他們高效地在邊緣裝置中實現機器學習。Glow整合到eIQ軟體後,機器學習開發人員將擁有全面的高效能框架,可在包含i.MX RT跨界微控制器和i.MX 8應用處理器在內的恩智浦邊緣處理解決方案上進行擴展。客戶擁有更強大的工具,能夠在i.MX RT微控制器和i.MX應用處理器上開發機器學習語音應用、物體辨識、臉部辨識等應用。

eIQ現在具有針對Glow和TensorFlow Lite的推論支援,對此,恩智浦會定期執行基準測試以衡量其效能。微控制器基準測試包含標準神經網路模型,例如CIFAR-10。以CIFAR-10模型為例,恩智浦採集的基準測試資料展現了如何運用i.MX RT1060裝置(採用600MHz Arm Cortex-M7)、i.MX RT1170裝置(採用1GHz Arm Cortex-M7)和i.MX RT685裝置(採用600 MHz Cadence Tensilica HiFi 4 DSP)的效能優勢。

恩智浦對Glow的支援與Cadence為Tensilica HiFi 4 DSP提供的神經網路庫(Neural Network Library;NNLib)緊密相結合,該DSP提供4.8GMAC效能。同樣以CIFAR-10為例,恩智浦的Glow藉由使用此DSP來加快神經網路運算,實現25倍的效能提升。

恩智浦的整合Glow神經網路編譯器的eIQ軟體現已上市,並透過i.MX RT600跨界微控制器、i.MX RT1050和i.MX RT1060跨界微控制器的MCUXpresso 軟體開發套件提供。未來將會推出適用於恩智浦其他微控制器的整合Glow神經網路編譯器的eIQ軟體。

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 群組 !

 EET-Line技術論壇-QR

發表評論