微型AI:tinyML市場的可能性

作者 : 黃燁鋒,國際電子商情(ESMC)

近一年tinyML這個詞好像格外的夯:這和AI、IoT作為時下最熱門的應用領域有很大的關係。雖說tinyML Foundation官網看起來像是個很鬆散的組織,但究竟是什麼因素在促成tinyML的發展?

最近,包括瑞薩(Renesas)剛剛了收購Reality AI——一家做邊緣AI和tinyML的企業;還有中國的知存科技量產了首顆記憶體內運算(CIM)晶片,這類晶片目前的應用主場是端側產品AI運算。把AI運算——或者有時可以窄化到神經網路的矩陣乘加運算,帶到邊緣端測設備上並不稀罕。智慧型手機就是個典型的邊緣端測設備,現在的智慧型手機AP SoC晶片上普遍都配有專門的AI運算單元,蘋果稱其為NE (Neural Engine)、Arm和華為稱之為NPU、聯發科(MTK)則將其稱為APU。 即便是IoT這種更小運算力的邊緣端測設備,其實也有AIoT這樣的稱謂。這裡的A就是指AI——當然其含義可能比深度學習、神經網路更寬泛,但IoT邊緣端測設備要內建AI能力也是時代主旋律。 近一年tinyML這個詞好像格外地夯:這和AI、IoT作為時下最熱門的應用領域有很大的關係。雖說tinyML Foundation官網看起來像是個很鬆散的組織,Arm、瑞薩、Reality AI、萊迪思(Lattice)、英飛凌(Infineon)、Google、高通(Qualcomm)等都在其贊助商和合作夥伴之列,就足見tinyML的聲勢之大。 tinyML設備出貨量幾年後可達25億 ABI Research的資料顯示,2021~2026年,IoT連接數有3倍成長,屆時IoT連接數會達到236億。當然並不是所有的IoT裝置都會具備AI或機器學習(ML)能力,但這是tinyML的市場基礎。 所謂的tinyML,看字面意思就知道是微型的(Tiny)機器學習。「微型」是相對於一般需求更高運算力的AI運算而言,如手機AI運算單元——智慧型手機AI運算力所需的功耗和成本是IoT裝置上承受不住的。比如智慧家庭設備中由電池驅動的智慧溫度感測器,或者工業製造場景中部署的在馬達上檢測振動異常的感測器+微控制器(MCU)設備。 IoT裝置通常總是透過感測器不停地收集資料,比如影像畫面、溫度濕度、存在感知等。將大量資料集合以後,進行機器學習的模型訓練,就有機會生成更有價值的資訊:AI在智慧交通、智慧城市、智慧家庭之類的應用大多就是這麼回事。不過AI運算是個需要運算力和成本的工作。如雲端上的大規模AI模型訓練(training),必然是基於大算力的GPU或者專用的AI晶片。 模型訓練完成後,複雜的AI推理(inference)工作也不適用於大多數小運算力的IoT裝置,而需要在雲端或邊緣資料中心進行。一般IoT裝置上的16/32位元MCU對於承接AI運算顯得相當無能為力。tinyML的提出,就是為了找尋AI運算在IoT裝置上的成本、功耗均衡,讓資料分析工作也能在運算力並沒有那麼高、儲存資源還不多的硬體,配合專門設計的軟體(小規模AI推理工作)上執行。 從tinyML Foundation官網介紹來看,典型的tinyML IoT裝置應該將系統功耗控制在mW等級,模型尺寸小到100kB以下。也就是說tinyML設備,要在超低功耗、性能受限的環境下做本地的AI工作。不過這樣的機器學習模型主要是扮演過濾的角色,比如將那些不必要的參數、低於閾值的資料排除在外;唯有有價值的資料才會促使IoT裝置做出相應的動作——不僅是本機回應(如家用警報器發現問題時發出警報),也可以是將資料進一步發往閘道或雲端。 tinyML並不是要替代更複雜的AI推理,而是把一小部分特定能力遷到邊緣端測設備上。那麼就省去是總是需要連網、進行資料通訊的麻煩,不僅能夠顯著降低功耗,而且也更為即時、有更高的隱私和安全性。ABI Research去年發佈一份「tinyML: The Next Big Opportunity in Tech」白皮書,這家機構預測tinyML市場出貨量會從2020年的1,520萬台裝置,成長至2030年的25億台IoT裝置。 其潛在應用領域典型如家庭保全、智慧家庭自動化、寵物定位和追蹤、健康類穿戴式裝置;工業與生產中的資產追蹤、製造缺陷發現、智慧樓宇/建築;交通領域的車流監控與交通高峰期的疏導、智慧路燈;還有智慧電網、智慧型儀器表,以及物流和運輸等。  
[caption id="attachment_52547" align="alignnone" width="617"] (來源:ABI Research)[/caption] [caption id="attachment_52548" align="alignnone" width="561"] (來源:ABI Research)[/caption]

上面兩張圖是ABI Research預測的2021~2030年,不同應用領域tinyML設備的出貨量,以及tinyML晶片能夠產生的營收(分成了ASIC、FPGA和MCU),市場成長潛力看起來相當之大。其實tinyML跟邊緣端側AI的很多應用原本就是重合的,只不過tinyML給定了某種更嚴苛的運算力和功耗限制。從某種角度來看,tinyML這個詞或許更有濃重的市場宣傳色彩,不過圍繞tinyML展開的研究和努力是真實存在的,而且其發展動力可能還超乎想像。 tinyML晶片的可能性 見過不少邊緣AI晶片或系統,普羅大眾所知的如Nvidia Jetson Nano開發板——這是個能直接應用Nvidia的AI和CUDA生態的硬體產品,基於Nvidia GPU進行AI開發。同類明星產品也不少,包括一些加入了專用AI運算單元的,像是瑞芯微RK3399 Pro、晶晨A311D、Intel Myriad X、Google edge TPU等。     前兩年的中國工業博覽會上,瑞薩展示一種e-AI (嵌入式AI)故障預判解決方案,這個demo演示的是工業現場的馬達運作狀態:有個加速度感測器採集馬達的振動情況。本地有專門的AI運算加速單元,名為DRP (Dynamic Reconfigurable Processor)。在馬達的振動參數有某些異常變化的情況下,就能預判馬達可能要發生故障。 當然在資料獲取和訓練上,整個過程還是涉及到了雲上的機器學習。而且不管是Nvidia Jetson Nano,還是瑞薩DRP,跑起來的系統功耗都遠超mW水準了。下圖是瑞薩提供的一張AI性能和效率對比,瑞薩RZ/V2M的DRP加速器效率相當不錯,只是這些系統嚴格意義上應該都不能算「tinyML」。     但追求邊緣AI應用,的確是IoT的大趨勢。從目前tinyML及其合作夥伴的宣導來看,現在的tinyML「晶片」更多的還是在於處理器核心加上一些強化的平行運算資源:比如Cortex-M3,用15KB程式碼、22KB資料,在檢測到特定語音單詞時,就能喚醒系統,跑語音辨識模型。2021年Rapberry Pi Pico發佈,基於RP2040 MCU,Cortex-M0+雙核心,能跑TensorFlow Lite Micro。RP2040是被視為tinyML的標版,開發者可以跑機器學習模型來進行一些感測器資料分析,包括視訊和圖片辨識、手勢辨識等。 Arm、RISC-V在tinyML晶片和生態上的參與度也相當積極。如Cortex-M55新增了Helium向量處理技術,加強了DSP和ML方面的能力,Arm在官方的tinyML宣傳文章裡也提到了自家的Ethos系列microNPU,專用於加速嵌入式和IoT裝置的機器學習推理運算,可見tinyML的專用AI加速單元必然是要被提上日程的。 關於晶片,特別想提記憶體內運算晶片,或者把範圍進一步泛化到模擬運算方法。記憶體內運算是個全新的領域,顛覆了傳統的馮紐曼架構體系:直接就在記憶體內進行運算,最小化資料搬運過程。主流的記憶體內運算技術是基於類比電路的運算——加上少了資料通訊開銷,所以能效大幅提升,功耗比一般的AI晶片有幾倍下降。 知存科技提供的資料顯示,以其剛剛量產的記憶體內運算晶片,進行40~100個詞的語音檢測,系統整體功耗能夠控制在0.8mW量級——這就比一般的晶片低太多了,應用於電池驅動的穿戴式裝置都毫無壓力。當然新架構的生態搭建,前期會需要一個漫長的積累過程,在這個方向上發力的企業,未來應該也會越來越多。 似乎從「模擬運算」的角度來看,在電腦科學的架構範式都可能產生顛覆的未來,tinyML的需求持續進化,可能對整個產業帶來前所未有的革命。時代現如今就有不少點狀式的發展趨勢,比如各種神經擬態感測器和運算方式的發展,它們都有著相較於如今的電腦架構,更為顯著的效率優勢。 未來的不可限量與影響 tinyML或許只是AI發展的某種具體形式。但tinyML現在作為一個明確的概念在市場上流傳,還是有利於這類技術的向前推進,而且研究人員也的確在「Tiny」這件事情上持續努力。 舉例來說,去年底麻省理工學院(MIT)團隊嘗試縮減記憶體用量,具體能夠提升視訊的影像辨識性能。這主要就是針對MCU可憐的儲存資源,使其進行卷積神經網路運算時的最佳化技術,屬於特別針對tinyML視覺系統的最佳化。未來,這類研究應該會越來越多。 ABI Research在報告中明確提到了tinyML帶來的一些關鍵價值。比如更好的資料隱私性、更高的能效、更小尺寸的晶片(尤其降低片內或板上的儲存資源用量)、功能安全與網路安全方面的提升(硬體級AI實施方案相比於軟體,具備更高的安全性),以及對於網路不穩定環境有更好的免疫性——這原本就是邊緣AI的一大優勢,還有不同元件之間更好的互連互通。 基於tinyML的特性,未來相關IoT的構成及供應鏈都可能會有新的動向。例如基於功耗、可靠性、延遲等更嚴苛的要求,連線協定的選擇或許會更明確;基於AI運算特性,AI模型OTA更新會成為標配;IoT裝置或上游供應商可能要把更多的工夫花在AI和tinyML專業知識上——涉及到的能力會更多樣,不管是用開源工具、選擇與三方AI解決方案企業合作,還是自己去積累專業能力;生態建構和擁抱開發者社群會變得更重要。 這些好像會對IoT價值鏈持續產生影響,對IoT產品和相關廠商提出了更高的要求(雖然很多還是和單純的邊緣AI與傳統AIoT重合)。tinyML在不同層面的發展,可能會超出我們的想像;甚至包括對電腦科學架構革新的推進。 本文原刊登於國際電子商情網站          

發表評論