最近，包括瑞薩(Renesas)剛剛了收購Reality AI——一家做邊緣AI和tinyML的企業；還有中國的知存科技量產了首顆記憶體內運算(CIM)晶片，這類晶片目前的應用主場是端側產品AI運算。把AI運算——或者有時可以窄化到神經網路的矩陣乘加運算，帶到邊緣端測設備上並不稀罕。智慧型手機就是個典型的邊緣端測設備，現在的智慧型手機AP SoC晶片上普遍都配有專門的AI運算單元，蘋果稱其為NE (Neural Engine)、Arm和華為稱之為NPU、聯發科(MTK)則將其稱為APU。

即便是IoT這種更小運算力的邊緣端測設備，其實也有AIoT這樣的稱謂。這裡的A就是指AI——當然其含義可能比深度學習、神經網路更寬泛，但IoT邊緣端測設備要內建AI能力也是時代主旋律。

近一年tinyML這個詞好像格外地夯：這和AI、IoT作為時下最熱門的應用領域有很大的關係。雖說tinyML Foundation官網看起來像是個很鬆散的組織，Arm、瑞薩、Reality AI、萊迪思(Lattice)、英飛凌(Infineon)、Google、高通(Qualcomm)等都在其贊助商和合作夥伴之列，就足見tinyML的聲勢之大。

tinyML設備出貨量幾年後可達25億

ABI Research的資料顯示，2021~2026年，IoT連接數有3倍成長，屆時IoT連接數會達到236億。當然並不是所有的IoT裝置都會具備AI或機器學習(ML)能力，但這是tinyML的市場基礎。

所謂的tinyML，看字面意思就知道是微型的(Tiny)機器學習。「微型」是相對於一般需求更高運算力的AI運算而言，如手機AI運算單元——智慧型手機AI運算力所需的功耗和成本是IoT裝置上承受不住的。比如智慧家庭設備中由電池驅動的智慧溫度感測器，或者工業製造場景中部署的在馬達上檢測振動異常的感測器+微控制器(MCU)設備。

IoT裝置通常總是透過感測器不停地收集資料，比如影像畫面、溫度濕度、存在感知等。將大量資料集合以後，進行機器學習的模型訓練，就有機會生成更有價值的資訊：AI在智慧交通、智慧城市、智慧家庭之類的應用大多就是這麼回事。不過AI運算是個需要運算力和成本的工作。如雲端上的大規模AI模型訓練(training)，必然是基於大算力的GPU或者專用的AI晶片。

模型訓練完成後，複雜的AI推理(inference)工作也不適用於大多數小運算力的IoT裝置，而需要在雲端或邊緣資料中心進行。一般IoT裝置上的16/32位元MCU對於承接AI運算顯得相當無能為力。tinyML的提出，就是為了找尋AI運算在IoT裝置上的成本、功耗均衡，讓資料分析工作也能在運算力並沒有那麼高、儲存資源還不多的硬體，配合專門設計的軟體(小規模AI推理工作)上執行。

從tinyML Foundation官網介紹來看，典型的tinyML IoT裝置應該將系統功耗控制在mW等級，模型尺寸小到100kB以下。也就是說tinyML設備，要在超低功耗、性能受限的環境下做本地的AI工作。不過這樣的機器學習模型主要是扮演過濾的角色，比如將那些不必要的參數、低於閾值的資料排除在外；唯有有價值的資料才會促使IoT裝置做出相應的動作——不僅是本機回應(如家用警報器發現問題時發出警報)，也可以是將資料進一步發往閘道或雲端。

tinyML並不是要替代更複雜的AI推理，而是把一小部分特定能力遷到邊緣端測設備上。那麼就省去是總是需要連網、進行資料通訊的麻煩，不僅能夠顯著降低功耗，而且也更為即時、有更高的隱私和安全性。ABI Research去年發佈一份「tinyML: The Next Big Opportunity in Tech」白皮書，這家機構預測tinyML市場出貨量會從2020年的1,520萬台裝置，成長至2030年的25億台IoT裝置。

其潛在應用領域典型如家庭保全、智慧家庭自動化、寵物定位和追蹤、健康類穿戴式裝置；工業與生產中的資產追蹤、製造缺陷發現、智慧樓宇/建築；交通領域的車流監控與交通高峰期的疏導、智慧路燈；還有智慧電網、智慧型儀器表，以及物流和運輸等。

(來源：ABI Research)

(來源：ABI Research)

上面兩張圖是ABI Research預測的2021~2030年，不同應用領域tinyML設備的出貨量，以及tinyML晶片能夠產生的營收(分成了ASIC、FPGA和MCU)，市場成長潛力看起來相當之大。其實tinyML跟邊緣端側AI的很多應用原本就是重合的，只不過tinyML給定了某種更嚴苛的運算力和功耗限制。從某種角度來看，tinyML這個詞或許更有濃重的市場宣傳色彩，不過圍繞tinyML展開的研究和努力是真實存在的，而且其發展動力可能還超乎想像。

tinyML晶片的可能性

見過不少邊緣AI晶片或系統，普羅大眾所知的如Nvidia Jetson Nano開發板——這是個能直接應用Nvidia的AI和CUDA生態的硬體產品，基於Nvidia GPU進行AI開發。同類明星產品也不少，包括一些加入了專用AI運算單元的，像是瑞芯微RK3399 Pro、晶晨A311D、Intel Myriad X、Google edge TPU等。

前兩年的中國工業博覽會上，瑞薩展示一種e-AI (嵌入式AI)故障預判解決方案，這個demo演示的是工業現場的馬達運作狀態：有個加速度感測器採集馬達的振動情況。本地有專門的AI運算加速單元，名為DRP (Dynamic Reconfigurable Processor)。在馬達的振動參數有某些異常變化的情況下，就能預判馬達可能要發生故障。

當然在資料獲取和訓練上，整個過程還是涉及到了雲上的機器學習。而且不管是Nvidia Jetson Nano，還是瑞薩DRP，跑起來的系統功耗都遠超mW水準了。下圖是瑞薩提供的一張AI性能和效率對比，瑞薩RZ/V2M的DRP加速器效率相當不錯，只是這些系統嚴格意義上應該都不能算「tinyML」。

但追求邊緣AI應用，的確是IoT的大趨勢。從目前tinyML及其合作夥伴的宣導來看，現在的tinyML「晶片」更多的還是在於處理器核心加上一些強化的平行運算資源：比如Cortex-M3，用15KB程式碼、22KB資料，在檢測到特定語音單詞時，就能喚醒系統，跑語音辨識模型。2021年Rapberry Pi Pico發佈，基於RP2040 MCU，Cortex-M0+雙核心，能跑TensorFlow Lite Micro。RP2040是被視為tinyML的標版，開發者可以跑機器學習模型來進行一些感測器資料分析，包括視訊和圖片辨識、手勢辨識等。

Arm、RISC-V在tinyML晶片和生態上的參與度也相當積極。如Cortex-M55新增了Helium向量處理技術，加強了DSP和ML方面的能力，Arm在官方的tinyML宣傳文章裡也提到了自家的Ethos系列microNPU，專用於加速嵌入式和IoT裝置的機器學習推理運算，可見tinyML的專用AI加速單元必然是要被提上日程的。

關於晶片，特別想提記憶體內運算晶片，或者把範圍進一步泛化到模擬運算方法。記憶體內運算是個全新的領域，顛覆了傳統的馮紐曼架構體系：直接就在記憶體內進行運算，最小化資料搬運過程。主流的記憶體內運算技術是基於類比電路的運算——加上少了資料通訊開銷，所以能效大幅提升，功耗比一般的AI晶片有幾倍下降。

知存科技提供的資料顯示，以其剛剛量產的記憶體內運算晶片，進行40~100個詞的語音檢測，系統整體功耗能夠控制在0.8mW量級——這就比一般的晶片低太多了，應用於電池驅動的穿戴式裝置都毫無壓力。當然新架構的生態搭建，前期會需要一個漫長的積累過程，在這個方向上發力的企業，未來應該也會越來越多。

似乎從「模擬運算」的角度來看，在電腦科學的架構範式都可能產生顛覆的未來，tinyML的需求持續進化，可能對整個產業帶來前所未有的革命。時代現如今就有不少點狀式的發展趨勢，比如各種神經擬態感測器和運算方式的發展，它們都有著相較於如今的電腦架構，更為顯著的效率優勢。

未來的不可限量與影響

tinyML或許只是AI發展的某種具體形式。但tinyML現在作為一個明確的概念在市場上流傳，還是有利於這類技術的向前推進，而且研究人員也的確在「Tiny」這件事情上持續努力。

舉例來說，去年底麻省理工學院(MIT)團隊嘗試縮減記憶體用量，具體能夠提升視訊的影像辨識性能。這主要就是針對MCU可憐的儲存資源，使其進行卷積神經網路運算時的最佳化技術，屬於特別針對tinyML視覺系統的最佳化。未來，這類研究應該會越來越多。

ABI Research在報告中明確提到了tinyML帶來的一些關鍵價值。比如更好的資料隱私性、更高的能效、更小尺寸的晶片(尤其降低片內或板上的儲存資源用量)、功能安全與網路安全方面的提升(硬體級AI實施方案相比於軟體，具備更高的安全性)，以及對於網路不穩定環境有更好的免疫性——這原本就是邊緣AI的一大優勢，還有不同元件之間更好的互連互通。

基於tinyML的特性，未來相關IoT的構成及供應鏈都可能會有新的動向。例如基於功耗、可靠性、延遲等更嚴苛的要求，連線協定的選擇或許會更明確；基於AI運算特性，AI模型OTA更新會成為標配；IoT裝置或上游供應商可能要把更多的工夫花在AI和tinyML專業知識上——涉及到的能力會更多樣，不管是用開源工具、選擇與三方AI解決方案企業合作，還是自己去積累專業能力；生態建構和擁抱開發者社群會變得更重要。

這些好像會對IoT價值鏈持續產生影響，對IoT產品和相關廠商提出了更高的要求(雖然很多還是和單純的邊緣AI與傳統AIoT重合)。tinyML在不同層面的發展，可能會超出我們的想像；甚至包括對電腦科學架構革新的推進。

本文原刊登於國際電子商情網站

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名