神經形態視覺感測器實現更高自主性未來裝置

作者 : Anne-Françoise Pelé,EE Times歐洲特派記者

沉寂多年的神經形態視覺感測器產業在最近幾個月開始捲土重來...

神經形態視覺(Neuromorphic vision)感測器是一種基於仿生學原理的攝影機,它可以捕捉到一個場景中的關鍵資訊,降低資料冗餘和延遲。這類事件(event)驅動感測器使自主化更接近現實,已經在高速視覺應用中找到「用武之地」,如工業自動化、消費性電子和自動駕駛車輛等。

「為什麼說事件驅動視覺感測器是神經形態的呢?」總部位於法國里昂的市場研究機構Yole Développement首席分析師Pierre Cambou接受《EE Times》訪問時表示:「每個像素都是一個神經元(neuron),因此將AI導入像素處理是完全有道理的。」

沉寂多年的神經形態視覺感測器產業在最近幾個月開始捲土重來。2019年11月,三星(Samsung)為其鎖定手機與平板電腦應用的動態視覺感測器(Dynamic Vision Sensor,DVS)技術申請商標;對此Cambou認為:「這有點讓人出乎意料,因為三星原本開發DVS技術主要是為了車用先進駕駛輔助系統。」

2019年12月,索尼(Sony)不動聲色地收購了總部位於瑞士蘇黎世(Zurich)的公司Insightness,該公司的視覺感測器可以在毫秒(milliseconds)等級內進行運動偵測,甚至是感測器本身也在移動中。2020年2月,總部位於法國巴黎的新創公司Prophesee在募集了額外的2,800萬美元後,於國際固態電路會議(ISSCC)宣佈與Sony共同開發一種新型感測器,也就是事件驅動的堆疊式視覺感測器。

神經形態感測源起於1991年蘇黎世聯邦理工學院(ETH Zurich)暨神經訊息研究所(Institute of Neuroinformatics)的科學家Misha Mahowald首創之「矽視網膜」(silicon retina);這種技術模仿了人類的視網膜,如當時Mahowald解釋:「這種矽視網膜透過從影像中去掉平均強度水準、僅報告時空變化,從而節省頻寬。」這是催生了DVS的幕後概念,也在近年來激勵眾多新創公司投入相關研發,包括來自瑞士的iniVation。

總部位於瑞士蘇黎世的iniVation由事件驅動視覺技術領域的領先者在2015年創立,現已開發出一個動態視覺平台,整合了高性能機器視覺系統的硬體與軟體。其神經形態DVS晶片型號為DAVIS346,模仿了人類視網膜的特徵,只有在局部像素等級的變化發生時才會傳輸資料,從而實現微秒級(microsecond)時間精度的事件流;這相當於傳統的視覺感測器,但資料量卻少得多。該公司表示,由於採用了本地處理的理念,該晶片大大降低了功耗(最高降低了90%)、資料儲存和算力需求,同時提高了感測器的動態範圍(超過120 dB)。

iniVation已經建立了一個有300多家客戶的網路,並與美國賓夕法尼亞大學(University of Pennsylvania)、瑞士蘇黎世大學(University of Zurich),以及美國國防部高等研究計畫署(DARPA)的研究人員合作,以IBM的TrueNorth類人腦晶片進行研究,致力於實現無人機自主飛行。還有一項歐盟的研究計畫則著重於永續發展的智慧城市專案。

想像一座智慧工廠…

世界各地的工廠正在進行一場無聲革命,自主運作與自動化攜手並進,機器視覺正是製造業自動化不斷發展的幕後力量。與簡單的感測器不同,機器視覺感測器會生成大量資料,以識別有缺陷的系統、瞭解其缺陷並進行快速干預;其結果是成本節省和生產力的提升。

iniVation聲稱,其動態視覺平台非常適合工業視覺應用,它可進行高速3D基礎架構掃描,用於預測性維護、高速生產檢查、顆粒檢測,以及螢光成像和人體運動分析的顯微鏡。換句話說,它可以高速、高精度、高一致性地執行平常或複雜的重複性任務。

iniVation執行長 Kynan Eng接受《EE Times》採訪時表示:「我們花了好一段時間才生出合適的策略;」當其他公司致力於高速計數,Eng卻認為「高速計數物件並不是很難,」因為傳統相機就可以達到每秒上千影格(frame)甚至更高的速度,而「如果是不需要即時反應的應用,使用我們的感測器就沒有意義。」

至關重要的是延遲,而不是資料傳輸量;他表示:「我們的感測器具有快速的反應時間,」舉例來說,「如果有一個機器人需要持續移動執行任務,就必須即時調整其路線;調整速度越快就能移動得越快,也越快偵測到自己的錯誤。」

Eng表示:「我認為工業視覺是風險相對較低、但市場規模較小的市場,」因此創投業者對此興趣不高,但iniVation看到了有機成長的潛力,並從規模經濟角度思考。透過在2019年與三星建立的合作夥伴關係,iniVation已經從製造和銷售晶片,轉向為機器視覺產業提供攝影機。 Yole分析師Cambou指出:「你可以賣100美元的晶片,也可以將之內建於攝影機、賣一台1,000美元的攝影機。」

透過往系統方向發展,iniVation正在提升自己在價值鏈的地位。「我們意識到,變成一家晶片公司對我們來說沒有意義,」Eng表示:「我們可以募集到10億美元資金,但這還是不足以讓我們自己製作晶片。有人會問為什麼我們的攝影機這麼貴,怎麼才能讓它更便宜?」藉由與三星的合作,「我們解決了這個問題。」

不斷提高的品質要求,加速了食品、包裝、消費性電子、航太和汽車產業中的機器視覺發展;Eng指出iniVation的目標是進入更大規模的市場。

展望手機市場未來

事件驅動攝影機僅傳輸強度的變化,它不會受到動態模糊(motion blur)的影響,其延遲也是微秒等級的;再加上極高的動態範圍和超低功耗,這種攝影機非常適用虛擬實境(VR)和擴增實境(AR)。「這是一個潛在的龐大市場,但我們尚不很清楚它何時會真的變大;」Eng表示:「現在它還是一個利基市場。」

事件驅動攝影機還可以應用於行動裝置。「訣竅在於說服手機廠商在手機背面再放一個感測器;」Eng透露,一開始iniVation與其他廠商只生產採用DVS像素的攝影機,「這類產品非常適合處理高速動態變化,但多數情況下,人們只是想自拍或拍美食。」他補充指出:「過去這幾年我們所做的,是開發一種能同時處理DVS像素和普通像素的感測器。所以你可以拍攝一般照片、進行正常處理,而在特定場景則可以使用我們的動態像素。」

因此手機製造商不必取捨,採購價格也沒有區別。對此Cambou認為:「手機市場的應用商機將在2021或2022年來臨;現在一支華為手機的背面有5個攝影鏡頭。」他接著指出:「我認為除了始終開啟(always-on)的神經形態攝影機,沒有其他更具發展潛力的。也有人在討論多光譜(multispectral)技術,但我更傾向於始終保持感知的功能;」事件驅動攝影機可以實現非接觸式互動,如鎖定和解鎖手機。

如同Prophesee與Sony的合作,與三星的結盟讓iniVation得以在智慧型手機市場佔有一席之地。而Cambou認為,跟往常一樣,這只是何時實現的問題;「始終保持感知是個很好的想法,已經存在多年,但現在的問題是如何實現它。這取決於你所支援的應用以及在使用者體驗方面可以提供哪些改進。」

讓車輛「看得見」

事件驅動攝影機具有高能效,因為像素活動微不足道,「靜止」的像素幾乎不消耗能量。在自動駕駛車輛從內燃機引擎轉向電動引擎的階段,這是一個賣點。而對車廠來說,「功耗條件的重要程度比我一開始想像的更高;」Eng表示,「在他們目前電動車規劃中,如果車輛以恆定速度消耗4kW總功率預算,其中一半是用於車輛的移動,另一半則是用於運算。在算力上節省的每一瓦電能,都可運用於增加車輛的續航里程,或是減少電池容量。」

iniVation的Division Sensor平台可實現車輛里程測量、在惡劣的照明條件下完成高速同步定位和地圖構建(SLAM),以及自動化駕駛輔助。「隨著處理技術的不斷發展,自動駕駛車輛的前途會更加光明;」Eng透露,「我們將開發一種混合感測器,同時支援影格與事件,如此一來車廠可以繼續使用他們花費數十億美元開發的東西。」

Cambou指出,感測器是實現自動駕駛車輛的關鍵,它們同時也會產生大量資料,而系統則「受到處理性能的嚴重制約。」增加更多的攝影機會帶來更多的資料,這意味著「算力需求激增。」提高資料品質是其中一種解決方案;Cambou認為:「如果真的想解決自動駕駛問題,需要迅速增加多樣性的感測方案;你可以使用光達(lidar)、熱像儀和高光譜相機,而我認為車廠應該也要考慮事件驅動攝影機。」

神經形態工程技術的潛力尚未完全發揮。根據Yole的分析,到2029年,支援感測與運算的神經形態半導體市場規模將達到71億美元。如果所有技術問題都能在接下來的4到5年內解決,神經形態運算市場規模在2024年可望達到6,900萬美元,並在2029年進一步成長至50億美元,在2034年達到213億美元;神經形態感測市場在2024年的規模則估計為3,400萬美元,並在2029年成長至20億美元,在2034年達到47億美元。

 

本文同步刊登於《電子工程專輯》雜誌2020年6月號,責編:Judith Cheng

(參考原文:Neuromorphic Vision Sensors Eye the Future of Autonomy,by Anne-Françoise Pelé )

 

發表評論