催生超低功耗邊緣AI應用 tinyML賦予MCU產業新契機

作者 : 蔡銘仁,EE Times Taiwan

物聯網相關技術不斷向前演進,加上節能減碳意識抬頭,使得AI也從雲端走向邊緣端,僅需mW等級的超低功耗就能進行機器學習的「微型機器學習」(tinyML)概念應運而生…

物聯網(IoT)相關技術不斷向前演進,加上節能減碳意識抬頭,使得人工智慧(AI)也從雲端走向邊緣端,僅需mW等級的超低功耗就能進行機器學習(Machine Learning,ML)的「微型機器學習」(tinyML)概念應運而生,近年相關技術發展飛快,擠身熱門前瞻技術之列。運用微控制器(MCU)為邊緣裝置(Edge Device)裝上大腦,將有機會讓電子貨架標籤、感測器等邊緣裝置上,也能增添智慧應用。

新冠肺炎疫情刺激各產業加速數位轉型;導入AI進行智慧化升級,已然成為各企業的重要發展主軸。一般常見的作法,是透過感測器等裝置進行資料收集,再傳到雲端分析和運算;但隨著資料量愈加龐大,運算力的要求也越來越高,雲端為提供高運算力衍生出高能耗的問題;大量資料不斷在雲端和邊緣端傳輸,亦使資安風險相對提高。tinyML概念的出現,就成了以上問題的解方之一。

市場研究機構Gartner於2018年發出關於邊緣運算(Edge Computing)的報告中,即提到2025年將有75%的資料,會在傳統所認知的資料中心或雲端以外的管道被創造與處理,當資料量越來越大,透過傳統方式處理資料也顯得缺乏效率。Gartner甚至斷言,2025年在商務、科技等領域,都將往邊緣運算靠攏,「AI at the edge」將成為主流。

根據tinyML基金會定義的tinyML規格,是用mW等級以下的超低功耗,在常時啟動(Always-on)及電池供電的邊緣裝置執行邊緣運算。NXP大中華區行銷經理李宜儒表示,過去對ML的看法是高耗能跟資源密集,需要非常龐大的雲端處理能力執行;tinyML著眼的就是希望能在邊緣節點上,透過MCU或微處理器執行ML,以少量的電量與記憶體,達到長時間處理並實現應用的成果。

現行ML之所以導致高功耗,大量資料傳輸是一個痛點;而當ML拉到邊緣端,問題也就有機會迎刃而解。MCU業者Silicon Labs比較透過低功耗藍牙(BLE)傳輸感測器資料與使用AI在邊緣裝置進行分析,結果即顯示前者的功耗多了將近10倍。Silicon Labs資深產品經理Tamas Daranyi也認為,在邊緣裝置分析感測器資料,將可有效節省使用雲端基礎設施和流量的費用,進而達到成本的下降。

Daranyi進一步指出,感測器產生大量即時資料,需要耗費大量的頻寬傳輸至雲端運算,導致無線頻譜飽和並增加運作成本。因此,當原始資料不需要傳輸到雲端進行處理,意味著決策可以在邊緣裝置上即時運行,除了節省成本,並能提供更低的延遲,支援即時操作,無需將詳細的原始資料發發送到雲端,也消除了資料隱私洩漏的可能性。

即便tinyML運算力與一般AI晶片是天差地遠,但如此來看,確實可望替AI應用打開另一片天,使應用場域進一步擴大;以無所不在、相對低成本的邊緣裝置做為載體,背後蘊藏著巨大商機;種種因素,讓tinyML的概念,已然成為市場焦點,替MCU產業界注入新的刺激。從上游的CPU IP設計到MCU產品規劃,各廠商無一不絞盡腦汁,以避免在這場甫鳴槍起跑的tinyML競賽中落於人後。

tinyML商機強勁 RISC-V、Arm IP各顯神通

「智慧深入到終端裝置,已經是一個長期必然的大方向!」RISC-V IP設計廠晶心科技董事長林志明著眼tinyML的特性,歸納出tinyML產品幾個重點發展方向:「tinyML要求低功耗,又要執行大量AI運算,更有效率的處理器架構、軟硬整合,以及演算法的優化將變得關鍵;終端應用的多樣性,也讓處理器架構的彈性及可拓展性,對運算效率扮演舉足輕重的角色。」

林志明認為,低功耗、高效率、彈性及擴充性也就是RISC-V先天的優勢,「Simple與Clean-slate,為RISC-V處理器帶來簡潔的設計,設計模組化讓晶片的面積更小,這些設計皆可優化功耗表現;RISC-V指令標準允許使用者自訂架構,加上處理器核心架構廠提供的擴充化工具,則可補足通用架構對多樣需求上不足。融合所有優勢,即可產出具備差異化又貼近終端應用的處理器架構。」

以晶心RISC-V解決方案為例,林志明指出,tinyML常見應用包括震動偵測、手勢感測、語音指令、異常偵測、物件偵測等,為支應其多樣化應用的需求,晶心在D25和D45等RISC-V核心中提供高效的SIMD/DSP處理效能;商用RISC-V向量處理器NX27V中,也提供多功能向量處理能力。晶心並提供ACE (Andes Custom Extension)擴充框架,使客戶能添加指令以進一步加快應用程序。

晶心為因應邊緣運算至雲端運算的高效能應用需求,也於今年初推出NX27V的RISC-V向量(RVV)擴展指令規格v1.0版。針對向量資料類型,可以處理從FP16到FP64的浮點運算,和Int8到Int64的整數運算,並擴充可減少AI資料傳輸量的BF16和Int4指令;其含有專用串流通訊埠(Streaming Port)介面的向量處理單元,亦可使暫存器和外部元件能高效率交換大量資料。

CPU IP設計廠Arm近年也將AI視為重要方向,並因應tinyML趨勢相繼發表Cortex-M55及M85產品,認定這將是MCU重要的發展趨勢。Arm AIoT方案資深經理黃晏祥指出,隨著tinyML在MCU上的應用越來越普遍,「主要幾個專注32bit的廠商原本用M4或M33,現在逐步轉移到M55甚至近期剛發表的M85,以賦予MCU ML的能力」,實體IC預計今年底、明年初有機會上市。

 

Arm Cortex-M55核心與M4核心的能耗效率比較。

(來源:Arm)

 

為支援tinyML的低功耗要求,Arm也在M55或M85等針對AI市場推出的產品上,增加進階的Power Domain,讓電源管理更精細。Arm首席應用工程師張維良解釋,進階的Power Domain能針對不同的硬體區塊更精確管理哪些要工作、哪些要關電,這是傳統M3、M4等產品所沒有的;Helium向量處理技術做向量化運算,據內部統計,每一個單位面積也可增加兩到三倍的效能。

此外,32bit處理器的M55和M85搭配Helium,可支援最小8bit的資料運算單元,使效率和功耗優於M4等處理器,這也是M55跟M4關鍵的差異點。張維良解釋,同樣運算8bit資料,M4只能用32bit運算單元進行運算,M55則只需使用一個8bit乘法器運算,因此M55功耗可以是M4的1/4甚至更少,最佳情況下功耗效率有機會是M4的五倍以上,再加上Helium技術,可進一步優化效能。

綜上所述,黃晏祥認為,要執行ML同時兼顧功耗,必須在軟體和硬體兩方面同時著力,「如M55與M85,都具備了為執行tinyML的Helium功能,能針對AI工作負載進行硬體的最佳化。軟體部分,我們有相對應的應用程式介面(API),例如CMSIS-NN或者CMSIS-DSP的指令集,都是專門用來支援tinyML的應用。因此軟硬體都要相互配合,才能為MCU進行最佳化。」

低功耗、高性能 MCU應用場域更多元

如NXP、意法半導體(ST)、Silicon Labs等MCU業者,也都紛紛針對ML推出產品,搶攻tinyML的潛在市場。像是NXP,打著「將ML和深度學習帶向邊緣端」的標語,規劃以Cortex-M7為基礎的i.MX RT10x0、Cortex-M33為基礎RT600等系列產品;ST也瞄準AI應用打造AI生態系統,除了相應的MCU產品,並提供「STM32Cube.AI」擴充包等工具,以協助企業縮短設計時程。

李宜儒舉語音UI系統為例,他說,過去這樣的系統受到低功耗和高性能要求的限制,NXP協助客戶規劃的解決方案,內建了去雜訊音訊前端晶片、喚醒詞引擎和語音命令引擎,並強調不需要任何雲端運算,就能提高現實生活嘈雜場景中的喚醒詞和語音命令觸發率;據統計,完整的語音強化解決方案以Cortex-M7為核心,設備平均以160MHz運作,準確率可提高40%。

Silicon Labs則將ML應用整合於系統單晶片(SoC),搭配無線AIoT系統平台,提供完整解決方案。EFR32系列1和系列2的SoC,支援適用tinyML的TensorFlow Lite Micro ML框架;EFR32xG24並具有內建ML硬體加速器子系統,可將執行AI推論(inference)的性能提高四倍,功耗降低六倍。ML解決方案讓設計人員在需要超低功耗的無線物聯網設備中,可增加AI/ML應用。

Daranyi表示,當物聯網終端產品要加入AI/ML功能,客戶除了要選擇MCU/處理器執行AI/ML工作負載,也要在功能需求與安全性、可負擔性、複雜性和運算間取得平衡。從調查結果顯示到2027年tinyML設備出貨量將成長到30億台、年複合成長率達30%的結果,tinyML的市場確實已在逐漸興起。對MCU來說,如果要因應AI/ML功能需求,接下來會需要更高的執行效率。

目前包括視覺辨識、智慧攝影機、監控、語音指令,或是工廠中物件偵測、良率判斷、異常偵測、震動偵測等,諸如此類邊緣端的應用,皆被認為可能是tinyML的機會。其中又以視覺辨識跟語音辨識,發展最為快速,且或許已悄悄進入我們的生活。比如,像我們喊出「OK Google」詞彙喚醒Android裝置,就是仰賴語音喚醒偵測的ML模型,搭配數位訊號處理器實現類似tinyML概念的應用。

黃晏祥指出,像工業領域震動偵測的應用,是類似偵測機器震動的頻率、型態、模式等參數,輔以相關的演算法,即可預先診斷機器是否故障或者需要維修,也可應用在偵測產線的溫度等。若在前端即可有一些tinyML的能力,可以放入一些演算法,將資料即時的送到後端、或伺服器上,即時發出警訊,與物聯網做更緊密的結合應用。

此外,意法半導體(ST)亞太區資深產品行銷經理楊正廉指出,現在慢慢也有看到手勢偵測及語音辨識等應用,隨著判斷的內容越來越複雜,且大家追求更智慧化,傾向獨立在設備端就做完運算,減少後端負擔,並可即時做出反應,會需要更好的MCU。以ST來說M4到M7都有相關產品支應需求,也在針對運算效能持續優化。

tinyML發展飛快強化生態圈為業界共識

tinyML無疑為AI的應用帶來更多想像空間,一旦不一定需仰賴後端進行判讀,設備「AI化」的成本就有機會降下來,進而提升市場接受度,現在也確實看到越來越多的應用出現。但Gartner曾點出,即便2025年創新應用和產品服務都會朝邊緣運算靠攏,但現在的發展目前確實遇到挑戰,包括難以估計的投資報酬率、相關技術尚未完全成熟等。

黃晏祥也點出三大挑戰,其一是ML的運算模型較大,需要記憶體、flash、cache等依序展開進行處理,用在功耗及記憶體有限制的MCU上會是挑戰;再者,MCU大多以電池供電時,電力有限的情況下多少將影響效能;最後在軟體方面,各個MCU工具鏈不相容,現階段不容易在不同MCU間移植,也會對tinyML裝置未來的大佈建帶來考驗。

針對痛點,相關廠商已有陸續推出解決之道,比如軟體的移植問題,Arm就發表了Project Centauri,讓基於Cortex-M的MCU直接連到雲端,橫跨不同的雲、不同的Cortex-M產品,有標準的API進行跨平台移植,以求將軟體的問題以最快速度解決。

不過物聯網市場應用碎片化的特性,使得單一廠商想憑藉一己之力全面解決痛點、加速擴大市場,難度很高;因此「深化生態系」,以更緊密的合作共創商機和找尋技術突破口,也就成了業界相當重視的重要方向。

業界普遍認為,tinyML是相當接近邊緣端的應用,應用更加多元且發散,很多應用甚至要因地制宜,不再是以前大量或單一規格的產品就能通吃的市場,這就需要平台、生態圈的力量,才得以推著產業鏈和相關技術繼續前行。為此,tinyML基金會於2019年誕生,贊助商不乏高通(Qualcomm)、Arm、英特爾(Intel)、NXP、Silicon Labs、ST、奇景光電(Himax)等半導體大廠,即是希望用打群架的方式搶攻市場。

身為tinyML基金會成員之一,奇景光電超低功耗智慧感測產品中心副總陳有棟表示,相較一般AI產業鏈,tinyML應用主打低功耗、低成本、資源受限的AI MCU,應用非常靠近邊緣端,讓更多有意義的資料送到後端,這會讓應用相對更多元,也就更需要生態圈共同協作以滿足客戶不同場景的需求,所以像奇景針對tinyML就有整合感測器跟AI應用的開源開發平台,讓tinyML生態圈中的軟硬體開發者及方案商可以根據不同需求自己發想創意跟產品。

奇景的WE-I Plus多功能AIoT開發板,搭配針對電池供電AIoT應用的WE-I Plus系列超低功耗邊緣智慧微處理器,以及多個智慧感測器,並供影像識別、語音辨識及震動異常偵測等開源AI模型,可更快開發及部署tinyML AI解決方案。奇景將持續透過架構跟韌體上的優化,追求更低功耗的產品,並對AI運算做更多加速功能,也跟夥伴合作以提升AI運算力,預計最快今年年底會有新產品推出。

 

奇景光電智慧視覺感測解決方案。

(來源:奇景光電)

 

陳有棟直言,物聯網近年跟AI結合才有比較明確的落地應用,tinyML要透過前端、後端、工具鏈及雲端服務結合,用生態圈的力量將技術推進各個應用領域;tinyML更是打破了以往B2B甚至B2C的概念,很多創新的商業模式出現,並用很快的速度重整生態圈。公司跟生態圈夥伴也都有很強的連結,將以此為基礎持續開發AI加速器等產品,並找尋更多在物聯網耕耘的夥伴合作。

提及Arm重視生態圈發展的方向,黃晏祥表示,市場一直都有新的Modeling、新的工具鏈出現,MCU的設計也與以往不同,以前程式寫好可以維持數年不動,現在有連網能力的MCU可隨時更改程式,甚至透過CI/CD持續佈建、整合式開發,比如前端機台就可透過軟體更新,被賦予新的功能,生態圈因此對MCU未來發展更加重要,Arm將持續投入、維持生態圈的完整,與夥伴合作發表免費的開源資源。

AI在物聯網趨勢下變得熱門,如何將所有設備「智慧化」,將大量收集來的資料展現應有的價值,讓想像中的未來世界得以實現,幾乎是全世界科技廠所擘劃的共同大願景。但俗話說「十年磨一劍」,許多前瞻技術成為成熟技術前,都必須經歷不斷試錯及驗證,最後才能量產,將成本降到甜蜜點;僅問世不到五年的tinyML概念,蘊藏的潛力已被認可,現在就靜待時機成熟,開枝散葉的時刻降臨。

本文同步刊登於《電子工程專輯》雜誌2022年6月號

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論