邊緣AI能聰明到什麼程度?

2020-04-20
作者 Nitin Dahad

由於物聯網(IoT)的快速發展,以及實現IoT設備智慧化所需運算力和處理能力的提升,「邊緣」一詞誕生。其所指的範圍可能很廣,可以指從「閘道邊緣(edge of a gateway)」到「終端(endpoint)」的任何設備。那麼業界對邊緣vs.終端的定義是否達成了共識?誰需要邊緣AI?邊緣設備可以有多智慧?讓我們來一探究竟。

每當有產業新詞出現時,我們這些產業媒體人面臨的挑戰便是要理解一個公司想要做什麼,特別是在他們利用這些詞去實現自已的行銷目標時。近來流行的一個新詞是邊緣人工智慧(AI)或稱邊緣AI。

由於物聯網(IoT)的快速發展,以及實現IoT設備智慧化所需運算力和處理能力的提升,「邊緣」所指的範圍可能很廣,它可以指從「閘道器邊緣(edge of a gateway)」到「終端(endpoint)」的任何設備。那麼業界對邊緣vs.終端的定義是否達成了共識?誰需要邊緣AI?邊緣設備可以有多聰明?讓我們來一探究竟。

首先,邊緣和終端的區別是什麼?好吧,每個人都有自己的看法——雲端之外的一切都可以稱之為邊緣。

定義:邊緣可以是指很多設備,而終端就是終端

最清晰的定義或許來自英飛凌(Infineon)概念與系統工程部門資深主管Wolfgang Furtner(圖1)。他認為,「邊緣AI一詞跟邊緣一樣含糊。有人把車輛稱為邊緣設備,而有人用這個詞來指小型低功耗無線連接能量收集感測器。邊緣是相對的,它用來區分本地與雲端。不過將邊緣的各種設備區分開來的確很有必要,有時也有人使用『邊緣的邊緣(edge-of-the-edge)』或『葉節點(leaf nodes)』這樣的詞。邊緣AI可以指很多設備,包括車輛裡的運算伺服器。」

圖1 英飛凌概念與系統工程部門資深主管Wolfgang Furtner認為,「邊緣AI」一詞跟「邊緣」一樣含糊。

但他強調,「終端AI處於虛擬網路世界與現實世界的交匯處,在這裡感測器與致動器離得很近。」

恩智浦半導體(NXP Semi-conductors)機器學習(ML)技術主管Markus Levy認為,這其實就是語義上的理解,就看怎麼劃分界限。「邊緣ML與終端機器是一樣的,只是邊緣ML還可以包括閘道甚至霧運算環境中的ML。終端ML通常在分散式系統中使用,例如,我們的客戶甚至在這些分散式系統的感測器中實現了智慧。另一個例子是家庭自動化系統,它包含『衛星』設(如恆溫器、門鈴攝影機、安防攝影機或其他類型的連接設備),這些設備可以獨立執行ML功能,還可以將數據傳給閘道器,以完成更高階的ML處理。」

對於邊緣伺服器及終端越來越智慧,Arm基礎設施業務總經理兼副總裁Chris Bergey站在Arm的角度,表達了略微不同的觀點(圖2)。他說,「橋接器和交換機這類基礎設備已不再適用,取而代之的是功能強大的邊緣伺服器,它們將資料中心等級的硬體增加到終端和雲端之間的閘道器中。這些新型邊緣伺服器與5G基地台相結合,功能非常強大,能夠完成複雜的AI處理——不僅是ML推理,還有訓練。」

圖2 Arm基礎架構業務部門總經理兼副總裁Chris Bergey對邊緣伺服器及終端智慧化持不同的觀點。

邊緣伺服器與終端AI有何不同?Bergey說,「智慧型手機中包含功能強大的硬體,因此長期以來一直是終端AI的肥沃試驗田。隨著IoT與AI技術的融合,以及5G的不斷成熟,雖然設備尺寸更小、價格更低,但是卻更加智慧,功能也更強大,而且由於對雲端或網際網路的依賴更少,隱私保護和可靠性也更好。隨著終端設備越來越智慧,AI執行的邊界也開始從終端向邊緣融合,對異質運算基礎架構的需求變得迫切。

一些人認為,雲端以外的一切就是邊緣。例如,邊緣AI和視覺聯盟的創始人Jeff Bier這樣說:「我們將邊緣AI定義為在資料中心之外執行的全部或部分AI。智慧可能就在智慧相機的感測器旁邊;或者稍遠一點,在雜貨店的設備櫃中;甚至更遠一點,在蜂巢基地台中;又或者是它們的某種組合或變化。」

Xilinx AI、軟體和生態系統產品行銷總監Nick Ni持類似觀點(圖3)。他表示,「邊緣AI從根本上來說是一種不依賴於資料中心、能夠在應用中滿足自身需求的智慧。對於要求即時回應、安全性(例如,不向資料中心發送機密資料)和低功耗(大多數設備)的應用而言,這是至關重要的。人類不會每天依賴資料中心做出無數決定,未來幾年邊緣AI將在半自動車輛和智慧零售系統等市場應用中佔主導地位。」

圖3 Xilinx AI、軟體和生態系統產品行銷總監Nick Ni認為,邊緣AI從根本上來說是一種不依賴於資料中心、能夠在應用中滿足自身需求的智慧。

Imagination AI資深主管Andrew Grant也認同這一觀點。「我們知道,現在大家都在談論邊緣。它如何發展將取決於客戶。未來肯定會出現一種混合的方法,雲端運算和資料中心絕對會在其中佔一席之地。」他補充,「市場(向邊緣)發展的速度很快,目前已掀起向邊緣智慧邁進的浪潮,但對許多應用來說,具體晶片的實現需要時間。」Grant進一步解釋,「我們在與中國的一家交通管理公司溝通後,瞭解到他們還在從雲端來回傳資料。我告訴他們我們在做什麼,他們馬上就認識到,如果紅綠燈自己能夠判斷車輛是否在行駛,資料就不用傳到雲端,這樣做有極大的好處。」

嵌入式系統供應商Adesto Technologies技術長Gideon Intrater表示,他們同時為IoT邊緣伺服器及IoT邊緣設備提供產品,因此並不需要區分邊緣和終端(圖4)。「我們不太使用終端一詞,終端的定義也許與邊緣設備類似。這些設備中的AI通常是一些本地推理,它使用專用加速器,透過近記憶體(near-memory)處理或記憶體內(in-memory)運算,其演算法在處理器上執行。」

圖4 Adesto Technologies技術長Gideon Intrater表示,他們同時為IoT邊緣伺服器及IoT邊緣設備提供產品,因此並不需要區分邊緣和終端。

他補充,「幾乎所有應用都將實現邊緣AI。AI可以實現預測和預防性維護,在製造中進行品質控制,從而惠及工業、建築及其他許多產業,帶來巨大的機會。這個產業才剛剛起步, 每天我們都期待AI能做得更多。不具備AI功能的舊設備常常不能理解我們的要求,我們為此感到沮喪,而有的設備直接就能理解我們。最終用戶並不清楚AI的工作原理,他們只希望AI有用。」

推薦閱讀: 為嵌入式AI系統選擇理想的儲存記憶體

誰需要邊緣AI?

因此本文的定義很清楚:你要不認同邊緣是雲端外的一切,就是認同終端是現實世界與數位世界的交匯點,其中大多是感測器。但是,隨著邊緣和終端的界限越來越模糊,加上異質運算架構的發展,究竟在哪裡執行AI,實際上是由具體的應用決定。

接下來的問題是誰需要它,市場對邊緣AI的期望是什麼?「我們所有人仍在為之努力,」Levy解釋,「業內的大公司正在積極實現邊緣AI,我們的很多客戶也在邊緣實現各種ML。但是,從『技術採用週期』來看,我仍然相信業內大部分公司甚至還沒有進入『早期採用階段』,真正開始發展得等到2020年底。」

圖5 恩智浦AI技術主管Markus Levy表示,邊緣AI的真正開始發展得等到2020年底。

客戶仍在瞭解ML可能帶來哪些酷炫的演進。而Levy考慮的是:

1.能不能省錢?例如,如果用AI替代檢查人員,使工廠生產線運作速度更快、效率更高,能否節省成本?

2.能不能賺錢?例如為產品增加一種專門功能,使其更實用。一個應用場景是條碼掃描器,如果外包裝上的條碼弄皺了就不能準確掃描,使用ML可以消除皺折的影響。

Furtner認為這實際上提出了一個問題,「邊緣AI會帶來什麼好處?」他說,「邊緣有一個極大的好處,就是我們可以將它的侷限性『弱點』變為優點。人們關心的易用性、功能性、隱私、安全、成本、氣候或資源的可持續利用,都是邊緣AI能夠帶來的好處。我們相信,在合適的地方應用AI能提高我們的生活品質,現實生活中也有許多終端AI的應用場景。邊緣AI可用於預測性維護、進一步自動化或機器人、家庭自動化或智慧農業等。我們開發了採用AI的低功耗感測器,直覺感測變得更加普及,這催生了家庭或城市新應用,讓生活更輕鬆、更安全、更環保。雲端的不可靠性促使工業或家庭採用全新的應用模型,以滿足隱私和安全要求。」

此外,Furtner 說,邊緣AI能以一種更高效和可持續的方式利用海量IoT資料,這在氣候變化的情況下尤其重要。

圖6 邊緣AI及視覺聯盟的Jeff Bier認為5個關鍵的應用需求將推動邊緣AI的發展。

Bier說,以下五個關鍵的應用需求將推動邊緣AI的發展:

頻寬:就算用5G,可能也沒有足夠的頻寬將所有原始資料發送到雲端。

延遲:許多應用要求較快的回應時間,比使用者從雲端接收到資料的時間還要短。

經濟性:某個應用如果使用雲端,即使能從技術上解決頻寬和延遲問題,但在邊緣執行AI可能更划算。

可靠性:某個應用如果使用雲端,即使能從技術上解決頻寬和延遲問題,但到雲端的網路連接並非一直可靠,而應用可能需要一直運作。在這種情況下,就要使用邊緣AI了。例如人臉辨識門鎖,如果網路連接斷開,你希望門鎖仍然正常工作。

隱私:某個應用如果使用雲端,即使能從技術上解決頻寬、延遲、可靠性和經濟性等問題,可能仍有許多應用出於隱私考慮而需要進行本地處理。例如嬰兒監控器或臥室安全監控攝影機。

邊緣AI的聰明程度取決於記憶體容量

這個問題看起來似乎顯而易見,但必須弄清楚,每種應用都不同。

「智慧通常不是限制因素——記憶體容量才是。」Levy認為,「實際上,記憶體容量限制了可以使用的ML模型的大小,特別是在MCU領域。例如,一個視覺應用的ML模型就需要更多的處理能力和更大的記憶體容量。需要即時回應時,處理能力更重要。」

「以一台微波爐為例,它內部有一個攝影機來判斷放進去的食物種類,1秒或2秒的回應時間就足夠了,因此可以使用恩智浦i.MX RT1050這樣的處理器。記憶體容量決定了模型的大小,進而決定微波爐可以辨識的食物種類。但是,如果微波爐不能辨識放入的食物怎麼辦?可以將資料傳送到閘道器或雲端來判斷是什麼食物,然後使用這些資訊重新訓練智慧邊緣設備。」

Levy針對「邊緣AI要有多智慧」這個問題的答案是,「簡單地說就是性能、準確性、成本和能源的權衡。此外,恩智浦正在開發一個應用,它使用自動編碼器來實現另一種形式的ML,即異常檢測。簡而言之,自動編碼器非常高效,我們實現的一個例子僅用了3KB資料,在45~50μs內完成了推理——讓MCU比較容易處理。」

Furtner也認可這種實用方法。邊緣AI在能耗、空間和成本方面受到極大限制。在這種情況下,問題不是「我們應該在邊緣提供多少智慧」,而是「我們有能力在邊緣提供多少智慧?」接下來的問題是「可不可以對現有的某種AI技術進行簡化,使其足夠『小』,以適用於邊緣?」功耗無疑限制了終端智慧化的程度。這些終端通常由小型電池供電,有時甚至依賴能量收集,資料傳輸也要消耗大量能源。

Furtner補充,「來看一個智慧感測器。在這些條件下,要使本地AI正常工作,必須對感測器的某些屬性和行為進行最佳化。另外,一些新感測器只能透過嵌入式AI實現,例如液體和氣體環境感測器。需要終端AI的原因有很多,智慧化資料的使用和縮減,或者快速的即時本機回應,便是其中兩個原因。資料隱私和安全也是兩個原因,海量感測器原始資料可以在產生的地方進行處理,而密集的運算任務仍在雲端執行。隨著低功耗神經運算(例如邊緣TPU和神經形態技術)的進步,這一界限開始向邊緣節點和終端轉移。」

圖7 Imagination Technologies AI資深主管Andrew Grant提倡盡可能多地在邊緣實現智慧,然後在設備的生命週期使用軟體進行最佳化。

Grant說:「我們認為應該盡可能多地在邊緣實現智慧,然後在設備的生命週期使用軟體進行最佳化。」他與遊戲機產業作了個比較,當供應商發佈一款新的遊戲機後,在硬體的整個生命週期中,是透過軟體更新對遊戲機進行最佳化。他補充,從成本或尺寸的角度來看,在系統單晶片(SoC)中增加神經網路加速器並不重要;「因此邊緣加速的機會真的非常巨大。」

Bergey說:「隨著異質運算在基礎架構中的普及,我們必須能夠判斷在哪裡處理資料是最好的,這因應用而異,甚至在一天中不同的時間裡也不相同。市場所需的解決方案是能夠讓不同的AI層擔任不同的角色,以瞭解全域,從而推動真正的業務轉型。在邊緣,AI扮演著雙重角色。在網路層,它可以對資料流程進行分析,智慧地將資料發送至最合適的處理點,這有可能是雲端,也可能是其他節點,從而實現網路預測和網路功能管理。」

Intrater補充,「邊緣應該多智慧」取決於具體的應用、能處理多少延遲(對重要的即時應用而言不多)、功率範圍多大(對電池供電的設備而言非常小)、安全和隱私問題,以及是否能連網。即使能連網,你也不會希望把所有的資料都發送到雲端進行分析,因為那樣頻寬開銷很大。在邊緣和雲端之間劃分出智慧區域是為了平衡所有這些問題。

Bergey接著說,「AI也可以在本地的邊緣伺服器上執行,但訓練和分析通常是在雲端完成。要決定AI在哪裡執行並不是那麼容易,『智慧』通常是分散式的,有些在雲端執行,有些在邊緣設備中執行。一個典型的AI系統分為本地執行和遠端執行兩部分。Alexa/Siri就是一個很好的例子,設備中有演算法來完成語音/關鍵字辨識,而互動是在雲端完成。」

什麼是賦能技術?

「實現邊緣AI需要很多關鍵的賦能技術。最容易想到的就是適合執行AI演算法的高性能、低能耗、價格便宜的處理器。」Bier說,還有其他許多技術,其中最重要的技術包括:

軟體工具:促進這些處理器的有效使用;

雲端平台:從邊緣設備彙集中繼資料,並管理邊緣設備的預配和維護。

採訪的公司大多可提供一系列用於邊緣AI的設備和IP。英飛凌稱可提供用於IoT的感測器、致動器、MCU(包括神經網路加速器)和硬體安全模組。Furtner表示:「我們在電源效率、安全和安防方面有很大優勢。使用我們的產品能夠連接現實世界與數位世界,為邊緣提供安全、可靠和節能的AI解決方案。」

Ni說,將AI邊緣產品推向市場並非易事,因為這需要工程師將ML技術與感測器融合,以及電腦視覺和訊號轉換等傳統演算法相結合。「為了滿足端到端回應,就要最佳化所有的工作負載,這需要一個自我調整定制運算架構(adaptable domain specific architecture),使硬體和軟體均可程式設計。Xilinx SoC、FPGA和ACAP提供了這樣的自我調整平台,在滿足端到端產品需求的同時可持續創新。」

恩智浦稱其賦能技術包括硬體和軟體。Levy說:「有客戶使用我們的低階Kinetis或LPC MCU來實現一些智慧功能。在我們的i.MX RT交叉處理器級別,事情開始變得更有趣,我們提供整合Cortex-M7核心的MCU,工作頻率為600~1,000MHz。我們新的RT600包括一個M33和HiFi4 DSP,透過在異質模式下使用DSP,以加速神經網路的各種元件,從而實現中等性能的ML。將頻譜提升,最新的i.MX 8M Plus將4個A53核心與一個專用神經處理單元(NPU)整合,NPU可提供2.25TOPS運算力,推斷性能提高2個數量級,功率小於3W。這種高階NPU對於即時語音辨識(即NLP)、手勢辨識,以及即時視訊和物體辨識等應用至關重要。

至於軟體方面,Levy稱恩智浦提供了eIQML軟體發展環境,在恩智浦產品系列(從i.MX RT到i.MX 8應用處理器及更多)中實現開放原始碼ML技術。「利用eIQ,客戶可以根據需要在他們選擇的運算單元上(包括CPU、GPU、DSP或NPU)執行ML。甚至還會見到一些異質實現,比如在DSP上運作關鍵字檢測的語音應用、在GPU或CPU上的人臉辨識、在NPU上的高性能視訊應用,或它們的任意組合。」

Bergey說:「全世界的IoT設備已接近1兆台,我們的基礎設施和架構面臨前所未有的挑戰,為迎接這一巨大機會,我們所需的技術也在不斷發展。Arm主要提供可配置、可擴展的解決方案,以滿足性能和功耗要求,從而讓AI無處不在。」

Adesto也提供邊緣AI賦能技術,包括內建AI加速器的ASIC、在語音和影像辨識AI晶片中儲存權重的NOR快閃記憶體,以及將新、舊資料送至雲端(如IBM Watson和Microsoft Azure)進行分析的智慧邊緣伺服器。

圖8 Adesto使用RRAM技術開發記憶體內AI運算,其中單個記憶體單元既是儲存元素又是運算資源。(圖片來源:Adesto)

Intrater補充,「我們也在利用RRAM技術開發記憶體內AI運算,其中單個儲存單元既是儲存元素又是運算資源。在這種範式中,深度神經網路矩陣變成NVM單元陣列,矩陣權值變成NVM單元的電導。將輸入電壓施加到RRAM單元,然後對所產生的電流求和,即可完成點積運算。由於不需要在運算資源和記憶體之間移動權重,因此這一模型可以實現電源效率和可擴展性的完美組合。」

一致的觀點

在筆者看來,邊緣AI和終端AI之間有一個非常明顯的區別。終端是實體世界與數位世界的交匯點,而邊緣的定義卻很靈活。供應商的說法也各不相同,有的認為資料中心以外的一切都是邊緣(包括閘道器、網路邊緣、汽車),而有的則把終端定義為邊緣的子集。

如何定義並不重要。最終還是要看具體的應用,以及可以在終端或邊緣實現多少智慧。這需要在可用記憶體容量、性能需求、成本和能耗之間進行權衡,以決定能夠在邊緣實現多少推理和分析,需要多少神經網路加速器,以及是作為SoC的一部分,還是與CPU、GPU或DSP並列使用。當然,在應對這些挑戰時,不要忘記使用創新的方法和技術,比如記憶體內運算和AI。

我們都認同,「邊緣應該要多智慧」是由具體的應用決定,要根據可用的資源來找出實用的方法。

(參考原文:Let’s Talk Edge Intelligence,by Nitin Dahad)

本文同步刊登於EDN Tiwan 2020年4月號雜誌

活動簡介

目前寬能隙(WBG)半導體的發展仍相當火熱,是由於經過近幾年市場證明,寬能隙半導體能確實提升各應用系統的能源轉換效率,尤其是應用系統走向高壓此一趨勢,更是需要寬能隙元件才能進一步提升能效,對實現節能環保,有相當大的助益。因此,各家業者也紛紛精進自身技術,並加大投資力道,提升寬能隙元件的產能,以因應市場所需。

本研討會將邀請寬能隙半導體元件關鍵供應商與供應鏈上下游廠商,一同探討寬能隙半導體最新技術與應用市場進展,以及業者佈局市場的策略。

贊助廠商

Nitin Dahad

暫無

發表評論

訂閱EETT電子報