tinyML商機旺 業界為何超重視生態圈?

2022-06-08
作者 蔡銘仁

當AI微型化到幾乎無所不在的邊緣裝置,應用的想像空間變得更大;換言之,也就代表市場相當發散,很難僅靠單一廠商、單一規格的產品通吃市場,因此更需要生態系...

人工智慧(AI)模組微型化、物聯網(IoT)趨勢,加上節能減碳的意識崛起,讓大眾開始思考,如何能讓邊緣裝置「多做一點」;tinyML的概念,因此應運而生。tinyML主打以超低功耗進行AI運算的特性,很快在半導體業界注入新的刺激,2019年並新成立tinyML基金會,贊助商名單中不乏高通(Qualcomm)、Arm等大廠,可說是星光熠熠。除了顯見業界對tinyML的重視,集結不同領域大廠的會員結構,更凸顯此概念的實現,「生態圈」的完整是重中之重。

根據tinyML基金會的定義,運用微控制器(MCU)等IC,在mW等級的功耗執行AI運算,得以賦能感測器、電子標籤等常時啟動、仰賴電源供電的邊緣裝置AI運算能力。在這樣的概念下,像原本可能僅做數據收集的感測器,就能藉由基本的AI運算進行資料運算,初步分析資料甚至直接下決策,減少資料傳輸的頻率,包括雲端負擔、整體裝置的功耗、以及資料傳輸衍生的資安風險,都有望因此降低。

tinyML讓AI應用更深入場域 生態系為重中之重

當AI微型化到幾乎無所不在的邊緣裝置,應用的想像空間變得更大;換言之,也就代表市場相當發散,很難僅靠單一廠商、單一規格的產品通吃市場,因此更需要生態系。奇景光電(Himax)超低功耗智慧感測產品中心副總陳有棟直言,「tinyML不是一個產品,而是一個概念」,它打破以往B2B (企業對企業)、B2C (企業對消費者)的概念,背後代表是整個生態系,而它正用很快的速度重整生態系。

奇景在tinyML耕耘三年多時間,並為tinyML基金會的成員之一,對tinyML有一定程度的研究。陳有棟說,tinyML讓應用變得更多元,需要的客製化涵蓋更多層面,包括AI演算法、系統整合等,很難全部仰賴原廠完成,必須對場域最清楚的人去開發,尤其場域的Know-how是電子業未必清楚的,因地區不同等因素,也會衍生不同的應用。

因此,陳有棟認為提供開源(Opensource)平台變得非常重要,這也就是奇景的價值所在,「AI世界最重要的是資料,我們的解決方案跟很多夥伴合作,我們提供相對完整的工具鏈跟環境,合作的方案商提供整套No code AI做好很多模組,客戶把資料放進工具訓練,訓練完就放到可以直接生成Code應用,省去寫Code的時間,對B2B或B2C應用來說都大大降低門檻。」

找到真正要開發產品的人,提供平台讓他們可以盡情發想創意跟可以做的產品,是奇景應對發散的tinyML市場所規劃的商業模式之一。比如,奇景開發的WE-I Plus多功能AIoT開發板,搭配電池供電AIoT應用的WE-I Plus系列超低功耗邊緣智慧微處理器,以及多個智慧感測器,並供影像識別,語音辨識及震動異常偵測等開源AI模型,為的就是協助客戶更快開發及部署tinyML AI解決方案。

 

奇景光電的視覺智慧感測解決方案。(來源:奇景光電)

 

奇景產品經理郭恬如舉例,公司有一個英國客戶的應用,是透過在座位裝置攝影機,讓員工透過App就知道辦公室是否還有座位,如何判斷有人、如何傳到手機等功能,就是當地的系統整合商(SI)必須協助做到的事情,奇景提供的就是好開發的平台給SI使用。

影像辨識方案實現超低功耗 奇景揭露秘訣

一般AI晶片追求高算力,相對不那麼在意功耗,奇景關注的則是低功耗且靠近感測器端的應用。因應tinyML概念,奇景結合原有的CMOS影像感測器技術,開發AI影像辨識的解決方案,陳有棟直言,「我們是唯一可以在MCU等級做到影像辨識的公司!」據奇景內部統計,其解決方案運行時,AI晶片加影像感測器加起來平均功耗約2.2mW,若以一天喚醒一次進行影像判別有無人經過的應用,CR2032的鈕扣電池有機會撐至少三年;智慧水表用他們的解決方案辨識表上讀數回傳資料,更可能撐5~8年。

奇景相當有自信的說,他們的解決方案可優於其他MCU的表現,相同一張VGA格式的影像輸入,他牌MCU處理可能需要超過1秒,奇景的方案則約35毫秒(ms)就完成。陳有棟透露,這是多層面優化下的成果,「影像感測器我們已經做超過10年,因此可以做到非常低功耗,AI處理器也做非常多的優化,包括加速器、軟體等,進一步降功耗,整個解決方案才能做到如此低的功耗。」

不過,談及成就奇景解決方案優勢的關鍵,陳有棟再次強調生態系的重要性,「我們從第一天就走開源平台的路!」他指出,要把AI模組放到硬體上,編譯器(Compiler)如何將AI模型運算值充分應用到硬體上,至關重要,但一般AI晶片公司可能硬體做得很好,編譯器效能卻比較差,奇景則從第一天就知道,有好用且有效率的Compiler才是AI產品的重點,開發硬體時就跟夥伴合作,從AI模組的映射到硬體的編譯跟工具都做成開放資源,無論B2B或B2C客戶都可以拿去開發。

陳有棟表示,奇景的開源開發平台的合作對象是Google Tensorflow lite for microcontroller,工具是由Google維護,每天都不斷優化編譯效能,「我可以說tinyML平台我們是少數幾間原生跟Google合作密切的公司,而且是少數在tinyML甚至AIoT (智慧物聯網)可以提供整套開發工具,且都是開源開發平台,Library也是找方案商合作。比起其他公司花很多成本在維護,我們花比較多時間建立生態系,因為我們知道自己做一定有侷限。」

「將來要傳遞的不只是硬體而是服務,我們必須擁抱這樣的生態系;」陳有棟強調,IoT應用非常碎片化,尤其tinyML平台很多軟硬體、雲端或工具鏈等應用都在生態系內,更有很多新的商業模式正在產生,服務就必須靠生態系完成,這也是為什麼他們寧願把資源跟人力花在建立生態系,「我們關注不再僅止於功耗多低或單一裝置,更重要是跟誰合作轉化為對客戶更有價值的服務,讓裝置經由生態系的連結升級,這是物聯網或tinyML相關應用將來的趨勢」。

tinyML商機潛力大 奇景多管齊下備戰

過往感測器單純收集資料沒經過清洗,容易徒增雲端的負擔,tinyML的出現,有機會解決這樣的問題。陳有棟舉例,比如工業電腦需要感測器收集資料,一次做20台攝影機運算可能頻寬算力會不夠,就需要邊緣AI做偵測,後端建置成本有望降低,反饋時間也會快很多,也把更多有意義的資料送到後端,現在業界發現tinyML成本、隱私跟延遲性等好處,慢慢加快啟動布局。

著眼tinyML隱含的龐大商機,奇景接下來多管齊下,從硬體、工具鏈等方面持續深耕技術。陳有棟表示,硬體部分會對架構、韌體及硬體設計優化,AI運算做更多加速功能,追求更低功耗;再者跟方案商合作強化AI運算力,開發下一代的AI加速器;最後在生態圈也要找更多IoT合作夥伴,包括AI運算、工具鏈、雲端等,尤其工具鏈會更優化,對雲端跟安全性應用都會有大幅改善,新品預計今年底推出。

綜觀市場,陳有棟指出,像筆電攝影機的應用是已有在做的,應用是像攝影機看人靠近可以自動開啟螢幕並登入,遠離自動休眠,部分商用筆電可以防窺,另外人靠近才打開攝影鏡頭的智慧門鈴、檢查貨架狀況並可提醒補貨的智慧零售應用、以及轉為因應使用者狀態主動式調節設備運作的智慧家庭產品等應用,也都有在進行發展,「市場才剛開始,且發展速度加快很多。」

 

 

 

 

活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

蔡銘仁

喜歡寫故事的電機人。

發表評論

訂閱EETT電子報