根據市調單位統計,預估至2025年,全球人工智慧商機將達2,300億美元,並以45%的年複合成長率(CAGR)快速成長;值得注意的是,至2030年,全球人工智慧整體市場規模將可能 大幅攀升,有機會暴增至15.7兆美元。資策會產業情報研究所(MIC)副所長洪春輝表示,人工智慧不僅改變產業生態,也改變了人類的生活、影響社會形貌變遷、衍生更多新應用,且業者為了搶攻商機,也紛紛祭出不同市場策略,也讓人工智慧進一步改變了產業既有的競爭型態。

在業者的努力下,人工智慧技術持續快速演進,從第一波發展邏輯規則、第二波機器學習、第三波認知能力,至近期的第四波自主學習,人工智慧可謂越來越「聰明」。接下來人工智慧的發展重點將著重在透過自主學習,進一步給予使用者建議與預測,洪春輝認為,即使人工智慧不斷的演進,能力變得越來越「強」,但是若沒有人願意用,將沒有任何意義。換句話說,人工智慧若是無法與人們的生活產生更多關聯,與人們的生活更加相關,人工智慧仍然只是一項令人「觸不到、遙不可及」的技術。

的確,人工智慧在各種應用領域,已經開始逐漸展現其影響力,並開始遍及各行各業與生活層面,以及創造更多應用商機。然而,人工智慧系統要能持續收集相關資訊,需透過機器學習不斷「學習」,以提升其判斷精確度,但若是都將資訊上傳至雲端運算,對整體系統效能而言,並不是一件好事,因此在邊緣/終端裝置導入AI技術的「AI at the Edge」已成為大勢所趨。

從雲端到邊緣終端裝置

為何人工智慧一定要「下放」到邊緣終端裝置?人工智慧在雲端上進行資料分析與處理,不是一直以來人工智慧發展的方式嗎?也許你會有上述疑問。事實上,從近幾年人工智慧發展的歷程來看,過往,業者多致力發展雲端那一頭的人工智慧,也就是收集到的資訊全數上傳到雲端,透過雲端資料中心、伺服器,進行分析,再歸結成可供學習的資料或是給予終端裝置的回饋。在這「漫長且遙遠」的傳輸過程中,即使未來有高傳輸速率、超低延遲的5G技術奧援,雲端資料中心的負載仍是相當大,對效能的要求勢必不斷提升。

如此,也會衍生出許多環保問題—高功耗意味著耗電量大增。Arm副總裁暨機器學習事業部總經理兼研究院士Jem Davies表示,現階段已經無法將所有的資料都傳送到雲端,再者機器學習對於效能的要求是永不休止的,這就代表著對電力的需求也會持續不斷攀升,因此,這也是為什麼產業界開始將目光放到邊緣/終端裝置上。

終端裝置上內建人工智慧,對減輕雲端的運算負載相當有助益。Davies指出,邊緣/終端裝置擁有大量透過感測器收集到的巨量資料,若其內建人工智慧演算法,具備基本的運算能力,可以先將龐大的資訊量做前期預處理、進行推斷,再將處理過的資料往雲端傳送;雲端則主要負責將資料轉化為供機器學習系統訓練的素材,不過,若是要將所有的分析、機器學習都讓邊緣端來執行,這可能行不通。

意法半導體(STMicroelectronics)大中華暨南亞區類比、微機電與感測元件產品部產品行銷經理陳建成則表示,將人工智慧放在邊緣端會更加實際且可行性更高。這是由於在整個人工智慧運算架構中,邊緣/終端裝置是最貼近消費者的部分,可以針對消費者「真實」狀況先預做判斷,雲端給予消費者的回饋「命中率」將可提高,進一步提升整體效率。

「AI at the Edge」商機與挑戰

除了可以降低雲端資料中心運算負載、更快給予消費者準確、有效的回饋之外,在邊緣裝置導入人工智慧、機器學習演算法,更為半導體電子產業帶來新的商機,也因此許多半導體大廠也開始推展「AI at the Edge」概念。

ReportLinker針對人工智慧晶片的市場預測報告指出,2023年全球人工智慧晶片市場規模將達108億美元,年複合成長率可達53.6%。機器學習晶片市場方面,根據Allied Market Research的報告,預估到2025年,機器學習晶片市場規模約可達378億美元;2017~2025年的年複合成長率為40.8%。該單位並從目前4種主流人工智慧晶片—中央處理器(CPU)、繪圖處理器(GPU)、現場可編程閘陣列(FPGA)與特殊應用積體電路(ASIC)營收預測,未來,人工智慧ASIC所創造的營收將超越GPU。

洪春輝則指出,由於資通訊硬體終端結合人工智慧視覺、語音等技術,以及內容服務業者針對人工智慧進到邊緣/終端裝置創造出新的應用市場與服務,並賦予傳統3C產品新的價值,推動半導體市場也隨之成長。MIC預測,受惠終端硬體導入人工智慧,2019年全球半導體市場規模將可達4,585億美元。

雖然,「AI at the Edge」為半導體業者帶來了新商機,但相對也為半導體業者帶來新的挑戰,也開啟新一波處理器的市場競賽。

20190703_edgeAI_NT31P1

人工智慧技術演進歷程。
(資料來源:資策會MIC)

功耗重於效能

「AI at the Edge」概念不斷發酵下,對於傳統終端裝置使用的CPU、GPU帶來的最大的挑戰之一是功耗,這是由於機器學習所需的運算效率不斷直線上升,效能與功耗間的取捨自然成為相關處理器業者的難題。Davies指出,運算效能對於人工智慧與機器學習而言,相當重要,但在終端裝置,功耗是大於一切的考量,因此終端裝置內的處理器要更關注每瓦的耗電量能貢獻多少的運算量。若是一味追求運算效能,終端裝置的功耗將無法被消費者所接受,因此勢必要有所取捨。

意法半導體(STMicroelectronics)亞太區微控制器(MCU)產品部資深產品行銷經理楊正廉也同意低功耗是終端裝置「鐵則」。因此,為顧及功耗,邊緣裝置內不是不採用CPU或GPU等級的 處理器;要不就是人工運算負責的「工作」不能過於複雜,而此時微控制器就很適合擔任邊緣裝置主處理器的工作。

消費者對於終端裝置的追求是更長的電池續航力,這一點無論是半導體廠商或是終端產品設計製造商「無人不知,無人不曉」;但要能執行人工智慧演算法,處理器也需具備一定的效能,這種兩難的情況,陳建成表示,內建人工智慧、機器學習的感測器可解決功耗與效能的取決難題。

為滿足人工智慧邊緣裝置的低功耗需求,FPGA供應商也將競爭重點放在解決方案的功耗表現上,如萊迪思半導體(Lattice Semiconductor)開發的sensAI,就是以1mW~1W的低功耗應用為主打;而該公司亞太區事業發展協理陳英仁表示,相較於微控制器解決方案,FPGA平台在因應人工智慧演算法最佳化過程中的變化上,能提供更高的靈活性。

而儘管低功耗表現是Lattice征戰「AI at the Edge」市場的主要優勢,該公司在5月底發表的最新版本sensAI還是強調了效能的提升,包括升級該平台的神經網路(CNN) IP與編譯器、擴展機器學習框架,新增對訓練資料集/腳本的支援等等,能在智慧門鈴、連網保全攝影機等應用上,實現更精準的人員偵測與計算結果。

了解使用者真正所需

不僅功耗與效能的取捨令業者頭痛,如何貼近消費者所需,也相當考驗業者的智慧。Davies認為,半導體IC設計業者在晶片設計上具備相當的長處,因此晶片功耗、效能、散熱…等各方面,廠商都具備一定的解決能力,也很了解CPU、GPU或其他IC有其各自的長處,以及該怎麼去設計以達到市場的要求。不過,IC設計業者畢竟離使用者端有點「遠」,對於使用者真正的需求可能不甚了解,這是IC設計業者需要與下游系統整合商或終端裝置製造商多多協同合作、溝通的部分,才能「參透」消費者在「AI at the Edge」應用中的所喜所好。

陳建成指出,在終端裝置導入人工智慧,不只是為了減輕雲端資料中心的運算負擔,而是透過人工智慧演算法讓邊緣終端裝置能變得更好用、更友善,進一步增加終端裝置的附加價值。因此,「AI at the Edge」概念也代表著,將人工智慧放在雲端資料中心這種「大設備」內並沒有太大的意義,而是應該分散在邊緣終端設備中,透過感測器、處理器…等晶片第一手取得使用者所需、所想與所要,才能發揮人工智慧真正的功能。

晶片設計架構改變

為因應「AI at the Edge」概念的發展,處理器也須因應邊緣終端產品的應用需求而有所改變。Davies舉例,智慧型手機業者為了透過人工智慧、機器學習提供消費者更好的使用體驗,自然需要好好的利用5G技術,並在手機內部支援全運算架構,以處理5G通訊技術帶進來的資料量。

要能執行全運算架構,的確需要很多CPU或GPU支援,因此,已可發現目前三大手機處理器業者已開始研發或發佈將CPU+GPU+神經網路處理單元(NPU)等異質多核心架構整合為系統單晶片(SoC)產品的趨勢。不僅高階、旗艦型手機會採用此種高整合SoC以順利運作人工智慧與機器學習,進一步提升運算效能;且未來,中低階手機也會導入人工智慧與機器學習,因此這種異質整合SoC可望成為大勢所趨。

另外,上述提到的異質多核心架構也出現在微控制器中。過去,為讓應用市場有更高效能的微控制器可用,許多微控制器供應商已有多核心微控制器的產品問世。進入「AI at the Edge」時代,邊緣/終端裝置內部一定會有的微控制器,也因應人工智慧演算法的進駐,而有新的多核心設計出現。楊正廉表示,考量到功耗與成本,較小型的邊緣裝置內部無法採用CPU或GPU,加上終端裝置所需的人工智慧效能無需太強大,因此透過雙核心微控制器,即可執行簡單的人工智慧演算法,平衡終端裝置效能、功耗與成本間的難解之題。而讓微控制器具備收集訊息的硬體與處理資料的軟體庫,以及解釋、分析和運作人工智慧應用程式的能力,將是未來意法半導體在STM32產品線重要的發展方向之一。

20190703_edgeAI_NT31P2

神經網路運作背後關鍵步驟。
(資料來源:意法半導體)

不僅如此,「AI at the Edge」也讓感測器產生了變化。陳建成解釋,感測器主要的工作是判斷周邊環境與使用者行為的元件,因此感測器內建人工智慧、機器學習演算法,再加上一些使用情境的定義,即可將感測器第一手取得的資料先行處理並判斷使用者當下的狀態,再將資訊傳遞給主處理器如微控制器或CPU後,終端裝置即可給予消費者更符合其「狀態」的回饋。

舉例來說,智慧音箱內建的感測器可以從使用者的聲音,或是透過使用者手指敲擊裝置的力道,先判斷使用者的心情狀態。若是使用者心情不佳,或是疲倦,智慧音箱將可播放一些可振奮人心或是輕柔、具備安慰效果的音樂,如此一來,使用者將可感受到更好的使用經驗。而這也就是為何感測器內建人工智慧可協助提升微控制器或其他主處理器效能的原因,陳建成解釋,假設整個人工智慧執行過程可分為10個步驟,擁有簡單人工智慧演算法的感測器可以協助執行人工智慧前期較簡單的功能,約達成3~4個步驟,這樣可以讓在主處理器端運作的其他7個步驟可以做得更精準,讓整體「AI at the Edge」人工智慧系統的效能更為提升,但同時又可兼顧成本與功耗。

多角關係如何解?

「AI at the Edge」受到多方矚目,也讓各類處理器進入新的戰國時代,許多研究機構也都紛紛預測哪一種處理器最終會勝出。事實上,業者普遍認為,無論是CPU、GPU、NPU或是FPGA,都各有所長,且會依應用而有其「安身之所」,甚至還可能彼此間互相合作。

Davies認為,根據不同的應用需求與運算處理數量的不同,會有不同的處理器需求,但可以很肯定的一點是,CPU、GPU、NPU…等處理器,不會有相互取代的情況發生。例如,與視訊處理相關就需要較強的加速器支援;而音訊與影像處理辨識,CPU與GPU即綽綽有餘,至於近期很夯的NPU,雖然效能比起GPU、CPU差了一截,但是在不太複雜的人工智慧應用中,可能僅採用NPU就足夠,若是應用需要更加乘的運算效能,則需要在GPU或CPU之外另加NPU來輔助。

楊正廉強調,通用微控制器無法吃下整個「AI at the Edge」應用市場,且考慮效能與應用所需,導入人工智慧演算法的微控制器鎖定的將會是利基市場,不會與其他處理器「硬碰硬」。楊正廉進一步說明,涉及影像處理、辨識,勢必得採用CPU或GPU;成本與功耗相對敏感的裝置,則可由微控制器執行簡單人工智慧運算,而針對高階應用,意法半導體將採取微控制器+微處理器(MPU)架構。未來,意法半導體也會持續透過加入訊息傳遞介面(MPI)此種平行運算應用程式介面,精進微控制器的處理能力,提升微控制器中的人工智慧演算法的效能。

另一方面,基於開放原始碼架構RICS-V,也開始在「AI at the Edge」潮流中展現其優勢,並獲得許多業者的青睞。包括台灣晶心科技(Andes)、平頭哥,以及許多晶片商,都針對RICS-V推出其主打「AI at the Edge」的處理器,RICS-V的蓬勃發展也讓市場一度提出該架構能否與Arm IP架構相抗衡的疑問。

對此,有處理器業者表示,RICS-V打破CPU與微控制器的界線,使得CPU與微控制器可以採用相容的架構,並具備「自由」的特性,著實有潛力與Arm Cortex核心抗衡。唯目前,RICS-V整體生態系統仍在發展中,而Arm多年來建立的完整且龐大的生態系統,使該公司在市場佔據獨特地位,因此與Arm合作多年的處理器廠商,在產品設計支援各方面的考量下,應不至於馬上「轉換跑道」跨足RICS-V架構。

台灣業者機會在何處?

台灣廠商在「AI at the Edge」的發展部分,除了IC設計業者如晶心科技與新創公司耐能智慧(Kneron)外,其他包括記憶體、晶圓代工、封裝…等半導體業者,以及終端裝置製造商,也積極搶攻商機。而如同EDA工具供應商新思科技(Synopsys)副總裁暨台灣總經理李明哲所言,有鑑於台灣電子產業在物聯網(IoT)市場的出色表現,結合人工智慧功能的所謂「AIoT」相關應用會是台廠能充分發揮實力的題材。

李明哲指出,根據Synopsys與台灣IC設計業者長期且密切的合作經驗,台廠擅長多樣化、小規模的設計,而且因為供應鏈完整,能在短時間之內就完成從概念到產品的流程;當人工智慧進入包括玩具、家電等各種日常生活周遭的消費性應用,就是台灣業者展現優勢的最佳時機。而台灣目前正推動的「AI創新研究中心」、「半導體射月計畫」等由產、官、學、研各界參與的專案,也激勵眾多鎖定「AI at the Edge」的研發活動,陸續有相關創新成果問世。

義隆電子(ELAN Microelectronics)董事長兼總經理葉儀皓開宗明義表示,台灣IC設計業者該鎖定邊緣運算、「AI at the Edge」領域,進行產品研發。這是由於台灣擁有完整且成熟的半導體供應鏈,學界也大量的在培育人工智慧相關人才,加上台灣也因一些政策與特殊環境而能取得許多大數據資料,例如健保資訊與滿街都是的摩托車都會是收集大量數據的來源,因此台灣IC設計公司可進行跨產業的合作,並鎖定製造業、農牧業與醫療產業的人工智慧化市場。

身為台灣電子五哥之一的華碩(ASUS),則是先從公司內部尋找可引入人工智慧的部分先行研究,如臉部辨識系統、語音辨識系統…等,積極練兵;再從中歸納出可與其他業者進行差異化的部分,並加以深入研究。

華碩技術長龐台銘指出,透過上述方式,華碩不斷累積人工智慧相關實力,進而提出足以與大廠媲美的解決方案,而此一歷程也可提供台灣電子硬體製造產業中想轉型卻不是很成功的廠商,一面借鏡。

洪春輝則建議,台灣有很強的科技產業「聚落」特性,可藉此形成人工智慧產業聚落,加速台灣人工智慧產業人才、技術與資金的流動。另外,台灣業者還可運用「平台」或「開題解題」方式,匯集不同技術利基的成果,並以解決方案產品發展為目標,避免研發成果停留在實驗室或專案化階段。

洪春輝並強調,人工智慧發展需要的不僅是技術演進,更重要的是「人性化應用」,亦即貼近人類生活需求的應用,才是人工智慧技術得以長遠發展的根基。因此,台灣廠商在發展「AI at the Edge」相關應用或產品時,應時時抓緊此「圭臬」,將可望在市場佔有一席之地,並搶攻人工智慧在2023年於消費應用領域所創造的41.5億美元的市場商機。

總結—該信任人工智慧嗎?

綜上所述,「AI at the Edge」的發展為半導體市場帶來許多新的契機。不過,無論雲端或邊緣端的人工智慧如何「取信於人」,都是最終需要面對的大哉問。Davies表示,現今的人工智慧、機器學習演算法獲得產官學界對其充分的研究,雖然人工智慧演算法還是無法與人腦相提並論,但廣泛的研究成果已可確保人工智慧與機器學習技術是「安全」的。

因此,目前使用者應該已能信任終端裝置給予的「建議」,否則壓根也不會想使用內建人工智慧與機器學習的邊緣裝置,更遑論進一步推助「AI at the Edge」應用市場的崛起。

本文同步刊登於電子工程專輯雜誌2019年7月號