光有晶片無法實現AI應用

作者 : 歐陽洋蔥,EE Times China

AI市場這兩年發展的主旋律可說是在邊緣AI上——或者再進一步縮小到tinyML。參與這一市場的競爭者,不光有傳統供應商,還有不少邊緣AI晶片新創業者。

AI市場這兩年發展的一個主旋律可說是在邊緣AI上——或者再進一步縮小到tinyML。參與這一市場的競爭者,不光有傳統MCU/MPU供應商、IP供應商,還有不少新創的邊緣AI晶片供應商。 邊緣AI技術的優勢,例如邊緣AI將推理(inference)部分工作轉往本地,不需要與資料中心或閘道器進行資料通訊,節約功耗和開銷;不需要考慮網路通訊的延遲和頻寬問題;而且這麼做也讓隱私更有保障...等。 不過,邊緣AI未來一段時間將持續火熱的必然原因在於,邊緣端設備數量和市場規模是任何市場參與者都無法漠視的:猶如物聯網(IoT)裝置數量很快會達到百億量級,如果邊緣AI市場發展起來,必然又是個了不得的大蛋糕,這對任何層面的市場參與者而言都是擴大營收的機會。 最近筆者採訪瑞薩電子(Renesas)執行副總裁兼物聯網及基礎設施事業本部本部長Sailesh Chittipeddi時,他援引了Omdia的一份資料,如圖1所示。  

圖1:AI市場發展。

(來源:瑞薩電子)

  預計到2025年,深度學習晶片的市場營收上,用於推理的AI晶片營收將達到訓練(training) AI晶片的10倍。其中功耗不到5W的AI推理晶片,市場營收將是其他類別的2倍。<5W就是應用於邊緣端的AI晶片,圖1也呈現了企業(enterprise)與邊緣AI晶片的營收變化。 這樣的市場增量當然值得企業下功夫。不過真正要把AI晶片賣出去,可不光是把晶片本身做好這麼簡單。 本月初,瑞薩電子宣佈收購一家嵌入式AI解決方案供應商Reality Analytics (Reality AI)。雖說對瑞薩而言,收購屬於常規操作,但這應該是瑞薩首次執行以AI技術為明確收購目標的操作。瑞薩是在邊緣AI技術上行動相對比較晚的晶片廠商,本文將觀察瑞薩電子的AI技術佈局,及其對該市場的展望,可望有利進一步理解AI的發展現狀和未來的可能性。 邊緣AI市場佈局 瑞薩是傳統MCU廠商中佈局邊緣AI技術的又一個典型代表。英飛凌(Infineon)、德州儀器(TI)也都有類似操作。可見這些大型跨國晶片企業對邊緣AI市場的理解大致相似,雖然它們之間又有各自的側重點。 而談到瑞薩的邊緣AI技術,最先想到的就是其e-AI/DRP (Dynamic Reconfigurable Processor)技術。之前的不少技術展會上,也可看到過瑞薩展示這種專用的AI推理加速器,且AI 加速器DRP-AI前兩年就已經應用於瑞薩RZ/V系列MPU晶片中。 不過,Chittipeddi指出,DRP-AI並非瑞薩邊緣AI佈局的全部,「AI有多種實現方式。其一是CPU+NPU (neural processing unit),這類方法也可以是CPU和FPGA之類的硬體配合。其二,只用通用MPU (即CPU/MCU),如64位的MPU來運算;第三種則是DRP-AI。」 市場對AI運算的理解主要偏向專用的神經網路運算加速晶片或單元。不過實際上AI運算用一般的通用處理器也可以,雖然性能和功耗都相對受限。尤其對於邊緣端裝置而言,受制於功耗、運算力和成本,大部分AI推理運算仍然基於通用處理器,例如Arm針對Cortex-M55就特別新增了Helium向量處理單元,著力於加強DSP和ML方面的能力;再如去年發佈的Raspberry Pi Pico能跑TensorFlow Lite Micro,也是基於Cortex-M0+。 且隨著tinyML技術的興起,邊緣AI生態也在想方設法地縮減AI模型尺寸、降低對記憶體容量和運算能力的需求。所以Chittipeddi也特別談到,Reality AI之前與瑞薩之間的合作,其AI模型應用於瑞薩的translator libraries,就是以瑞薩通用MCU、MPU為運算載體。 「DRP-AI作為一種完全彈性化的選擇,是我們提供的解決方案。在高階機器人市場,尤其是針對基於視覺的AI技術,瑞薩認為DRP-AI技術,以及一些新產品會扮演非常重要的角色。」Chittipeddi認為,「這個領域可以等等看,有不少視覺AI相關的有趣工作在持續中。」  

各家業者邊緣AI解決方案的效能及功耗比較。

(來源:瑞薩電子)

  前兩年瑞薩就開發了DRP-AI,以及DRP-AI translator軟體。這是一種針對視覺AI的神經網路方案,比如能夠應用於工業生產的預測分析(如某個馬達運作故障之前,根據AI分析就能提前預知其故障發生)。之前瑞薩將DRP-AI定位為一種比較典型的前饋神經網路(feed-forward neural network)運算加速方案,相比於其他類型的處理器,以及像是Nvidia Jetson nano GPU和Intel Myriad X向量處理器在效率上有顯著優勢。 AI生態建設需要時間 雖說在硬體效率上有優勢,「但與在雲端有生態基礎的市場競爭者相比,我們目前欠缺的是生態合作夥伴的廣度。」Chittipeddi坦言,「但我們現在正在發展生態系統,今年年底之前就會有數百個合作夥伴。」 「我的期望是隨著時間的累積,DRP技術會在邊緣端視覺AI解決方案上得到越來越好的最佳化。」Chittipeddi說,「如果只是中等性能需求,那麼一般的卷積神經網路(CNN)解決方案就足了。但在視覺AI方面,如果期望尋求能效和功耗高度最佳化的解決方案,應該會考慮採用能夠對自身進行動態重配置的前饋神經網路產品。」 瑞薩在AI生態建設上應當仍處於早期階段,所以Reality AI成為瑞薩的首個與AI相關的收購標的。不過邊緣AI整個領域本身的發展階段尚處於早期,且瑞薩這兩年的動作也還算是頻繁,Chittipeddi就提到,瑞薩內部有個團隊是專注於AI生態合作夥伴開發,其中包含了技術行銷和業務拓展團隊——他們會和不同的客戶進行合作。 而且在這次收購Reality AI後,瑞薩也打算在美國馬里蘭州新建一個AI卓越中心。不久前,瑞薩也宣佈了和嵌入式語音解決方案供應商Cyberon之間的合作,雙方將合作提供VUI (voice user interface)解決方案。Chittipeddi表示,「我們期望擴展MCU、MPU、DRP-AI合作的範圍,讓它們得到最大範圍的應用。」 不僅如此,還有比較典型的生態建設活動,像是前年的瑞薩盃全國大學生電子設計競賽。瑞薩就鼓勵所有的參賽選手能夠在自己的參賽項目中切實地用上DRP-AI資源。 生態補全和差異化競爭 基於這些,就能理解瑞薩收購Reality AI的原因——AI生態和能力擴張自然是其中重點。Chittipeddi說明,「我們之前就和Reality AI有合作了。這家公司是我們生態合作夥伴中的一員,我們在HVAC負載均衡應用方面一直有合作。」  

Reality AI涉足的市場和產品。

(來源:瑞薩電子)

  「Reality AI和其他競爭者的不同之處在於,他們專注於工業領域。」這也是瑞薩的主場,Chittipeddi說,「對我們來說,這相當匹配。與此同時他們在汽車領域也有涉獵。」 Chittipeddi並補充「我想,基於我們的整體策略,雙方相當合拍。而且這一領域的人才也非常難找。而Reality AI團隊的人在開發AI模型方面非常專業,且也有DSP專家。雖然這個團隊並不大,但預計會快速成長。」  

True tinyML範例。

(來源:瑞薩電子)

  瑞薩舉了Reality AI模型的兩個例子,並將其稱作「True tinyML」。這裡的回歸模型和分類模型是工業應用中的典型案例,重點在於,最後一行儲存和運算力資源需求量,應當是瑞薩稱其為「True tinyML」的原因。Chittipeddi解釋,「Reality AI和我們的MCU、MPU工作流契合度很高:他們做前端AI模型開發,我們提供translator libraries——經過融合之後(藉由e² studio工具),就能跑在MCU、MPU上了。」 「如此一來,我們就能為客戶提供更為完整的產品。而且如果客戶需要開發AI模型,但本身又沒有這方面的能力,我們也能提供Reality AI的model-as-a-service模型服務。」Chittipeddi強調。從這番解釋來看,Reality AI是增強瑞薩AI生態建設能力的重要一環。 「Reality AI原本的客戶可以用我們的MCU和MPU;我們對現有的客戶,又能透過Reality AI的工具提供AI模型——提供完整的套裝,端到端的解決方案,從問題定義、AI模型到MCU上的實作。」這也是Chittipeddi反覆提到,瑞薩在邊緣AI市場形成差異化競爭的關鍵。 此外,Reality AI提供的產品可能更多地適配於更小運算力的tinyML裝置上。在運算力需求更高的DRP-AI生態中,Chittipeddi也談到了瑞薩為開發者打造更為全堆疊式、完整系統級解決方案的執著,以期讓AI開發更加無感。 邊緣AI市場正快速發展 「我們相信邊緣AI是個正在快步成長中的領域。我們能夠在這一領域找到相較競爭對手的差異化方向。我們為客戶提供完整的工具套件,部分市場競爭者就很難追上。」Chittipeddi總結,「這其實不是買間公司這麼簡單的事,而是建構一整套全面的解決方案和恰到好處的用戶體驗,讓工具比競爭對手的更易於使用。若瑞薩能做到這些,就能在競爭中勝出。」 最後,Chittipeddi再度強調在Reality AI的加持下,當前瑞薩於邊緣AI領域相較競爭對手的不可替代性——即Reality AI能為客戶,以服務的方式提供AI訓練模型,也就是所謂的AI model-as-a-service,尤其滿足那些不具備這方面能力的企業。即便瑞薩和Reality AI的產品融合還需要一些時間,但在Chittipeddi看來,這方面的能力在市場上已足以實現差異化競爭。 本文同步刊登於《電子工程專輯》雜誌2022年9月號      

發表評論