蘋果(Apple)最新一代的智慧型手機iPhone X整合了用於人臉辨識的神經引擎,但這僅僅是一個開始。

嵌入式神經引擎和專用智慧處理器為邊緣(edge)裝置實現了人工智慧(AI),打破了對於雲端(cloud)的依賴。在邊緣進行處理的好處包括減少延遲、全網路覆蓋、增加隱私和安全性,並減少與雲端的通訊,從而降低成本。正因為具備上述優勢,行動裝置可以利用人工智慧的功能,實現不久前還只能出現在科幻小說中的場景。

機器成為即時資料處理中心

我最近參加了CEVA 2017年度技術研討會,有機會親身接觸到嵌入式世界的人工智慧技術。曾經是純機械的機器,如汽車、無人機和機器人,現在都變得更智慧了,具備了可視、感知、追蹤、分類、檢測與辨識等能力。如今,這些裝置使用電腦視覺和感測器融合來收集和處理資料,並進行即時決策。在某些情況下,例如無人駕駛車和無人機,決策是至關重要的,雲端處理的延遲可能導致難以挽回的回應時間。透過晶片智慧化,這些機器能更準確地被定義為資料中心。

20180214_CEVA_NT31P1 圖1:邊緣裝置搭載AI技術,即時且低功耗地處理大量資訊

無人駕駛車輛就是一個很好的例子,它需要大量的視覺和其他感測器,以及衛星定位資訊和各種連接解決方案。它還必須有一個「大腦」完成資料融合和分析。同時基於雲端的處理和資訊也將在自動駕駛功能中發揮作用,因此必須有一個可以瞬間做出決策的車載處理器。即使出現訊號中斷的情況,操作車輛也不會有危險是至關重要的。因此,處理器能夠處理密集的深度學習運算成為必要功能,而不只是可選項目。

20180214_CEVA_NT31P2 圖2:因應汽車應用的AI邊緣運算需要高性能的車載智慧

在邊緣進行神經網路處理成為主流

在智慧型手機領域,Apple通常作為確認新增特性將成為主流必備還是利基市場配件的試金石。隨著蘋果最新旗艦機iPhone X的發佈,手機上配備一款專用的神經引擎以便在邊緣執行人工智慧處理,可說是一件大事。如同先前的預測,這意味著,很快地,每個帶有攝影機的裝置都將包括一個視覺DSP或其他專用神經網路處理器。

Apple iPhone X中所使用中的神經引擎實現了Face ID技術,讓使用者注視著手機就能解鎖他們的iPhone。超快速的回應時間加上對於隱私和安全程度的考慮,這些都需要所有的辨識處理必須在手機上完成。現在的裝置已經具備了AI處理能力,肯定很快地將會不斷推陳出新更多令人興奮的AI功能。

Google也在其最新的旗艦手機Pixel 2中增加了類似的功能,透過一款稱為‘Pixel Visual Core’的協同處理器實現。在競爭激烈的智慧型手機領域,Google必須實現差異化。方法之一是為Pixel智慧型手機的相機配備超強軟體。但是,影像增強所需的密集運算、單鏡頭背景散景效果、提高照片的動態範圍等功能,仍無法在目前主要的智慧型手機所使用的標準處理器上高效率地運行。因此,Google決定為這些功能添加第二個晶片,透過添加人工智慧功能可能是另一個差異化的關鍵。華為(Huawei)日前也宣佈在其麒麟970 (Kirin 970)中整合神經引擎,緊接著還有越來越多的公司加入這一競賽。

基於視覺DSP的引擎如何實現晶片智慧化?

雖然邊緣處理的好處顯而易見,但也帶來了挑戰。難題在於如何將可以在大型伺服器上完成的數據運算,放進一個很小的手持裝置中,同時電量還得被消耗在許多其他處理任務上。這就是視覺DSP對於能否成功實現邊緣AI處理至關重要的原因。精簡、高效,但強大的向量化性能,讓DSP處理器成為執行神經引擎工作負載的理想選擇。

另一個挑戰是如何將現有的神經網路移植到嵌入式DSP環境中。這可能會消耗大量的開發時間,代價也變得非常昂貴。但是,自動化工具鏈可以支援「按鍵操作」的一站式服務,輕鬆地將網路的分析和最佳化轉換到嵌入式環境中。對於這樣的工具而言,覆蓋大量最先進的網路是非常重要的,可確保任何網路都可以很容易地最佳化,以執行於邊緣的嵌入式裝置上。

20180214_CEVA_NT31P3 圖3:Faster RCNN——透過完整的網路產生器可以有效的降低頻寬,並保有位元準確度

一旦移植和最佳化過程完成後,通常會對輸入資料進行規模縮減,從而以最少的資訊損耗完成更快速的處理。例如,典型的深度神經網路檢測演算法Faster RCNN流程中有兩個處理階段,包括區域建議(proposal regions)和區域分類(classify regions)。

20180214_CEVA_NT31P4 圖4:深度神經網路檢測演算法Faster RCNN處理流程示例

諸如CEVA-XM系列處理器核心等超低功耗的視覺DSP,適用於執行此類工作負載。藉由添加CNN硬體加速器(HWA)可以更進一步提升性能,加速神經網路處理(例如Faster RCNN)。

20180214_CEVA_NT31P5 圖5:使用CEVA-XM視覺DSP系列後的Faster RCNN性能:從圖中可以看到,第五代視覺處理器CEVA-XM6較前一代XM4性能顯著改善。添加CEVA-CNN硬體加速器則使性能又向前邁進一大步(來源:CEVA)

基於深度學習的人工智慧為手持裝置帶來了無盡的機會:透過影像增強獲得數位單眼(DSLR)品質的照片、擴增實境和虛擬實境(AR/VR)應用、環境感知、避讓和導航、檢測、追蹤、辨識、分類、分割、映射、定位、視訊增強等等。只要能在我們的手掌中握有這樣的力量,智慧型手機的通話功能看起來也就微不足道了。

20180214_CEVA_NT31P6 圖6:AI加速實現可視化智慧應用