基於事件視覺感測器應用日趨成熟

作者 : 黃燁鋒,EE Times China

基於事件的視覺感知技術有三個優勢:產生資料量更少、反應速度更快,以及實現更高的動態範圍(>120dB)。這三項屬性,尤其是減少資料量和高動態範圍屬性,在當代機器視覺應用都具備了相當高的價值...

這兩年,基於事件(event-based)的視覺感測技術研究相當火熱。今年CVPR 2021上能見到基於事件的視覺研究報告數量相當多;從Image Sensors World這些年的報導來看,參與這個市場的企業也逐漸變得活躍,這些都說明基於事件的視覺感測技術正日趨成熟。

前幾個月,《電子工程專輯》中國版(EE Times China)採訪這一領域頗具代表性的法國企業Prophesee時,Prophesee聯合創始人暨CEO Luca Verre列了許多相關神經形態技術的研究報告。因為當時對於這類感測器最佳匹配的後端神經形態運算平台也很感興趣,所以Verre很熱心地推薦了一些技術研究。

Prophesee的核心產品就是基於事件的Metavision原視覺感測器及配套的軟體和演算法。基於事件,或者說神經形態視覺技術(Neuralmorphic Vision Technology)。簡單來說,基於事件的視覺感測器,和我們所熟悉的傳統基於影格(Frame)的影像/視覺感測器,在工作方式上存在較大差異。Prophesee在宣傳上傾向把基於事件的視覺感測器與人眼類比:眼睛裡的感光細胞僅在檢測到視覺場景中某些特性(如對比度、亮度)的變化時才回饋給大腦。

而基於事件的視覺感測器也只在感知到場景變化時,才記錄資訊,場景中的靜態部分不會被捕捉;這不同於傳統影像感測器以固定的時序源(影格時脈)記錄影像資訊,所以稱「基於事件」。感測器上的每個畫素是非同步、獨立的,影像資訊也不是逐影格發送的,而是透過連續的資訊流捕獲時間資訊,影格與影格之間沒有任何重要資訊遺漏——Prophesee在宣傳中提到其視覺感測器記錄資訊等效的影格率為10,000fps,這在傳統基於影格的影像感測器是無法想像的。

所以基於事件的視覺感知技術有三個優勢:產生資料量更少;反應速度更快;以及實現更高的動態範圍(>120dB)。這三項屬性,尤其是減少資料量和高動態範圍屬性,在當代機器視覺應用都具備了相當高的價值。本文重點將放在基於事件的視覺感測器的應用——有助於建立對這類技術更深刻的認識。

Prophesee獲C輪融資

這項技術的火熱,也實現在對投資方的吸引上。前幾天Prophesee召開發佈會,宣佈Prophesee獲得C輪融資,「由創新工廠領投、小米及上海韋豪創芯跟投,數家老股東加碼」。Prophesee在這輪融資之前,已經獲得過獲英特爾資本、雷諾集團、博世創投、歐洲投資銀行等北美、歐洲和日本的知名投資人的支持(當前Prophesee已獲得的融資總額為6,800萬美元)。這次融資吸引的則主要是中國的投資人。

值得一提的是,這輪融資領投的創新工廠創始人是李開復;而韋豪創芯則是由韋爾股份作為發起人參與投資;小米在消費電子市場下游的市場角色自不必多說。Prophesee發佈的新聞稿中提到:「在新一輪投資人的支持下,Prophesee將進一步擴大在中國市場的影響力。」Verre表示:「我們將擴大在全球尤其是中國市場的客戶規模,並推廣普諾飛思革命性的基於事件的視覺感測方案。」

基於事件視覺感測器的應用方向

2014年Prophesee這家公司在巴黎創辦。從2015年初代QVGA解析度的感測器產品問世,到今年第四代產品上市——這代產品的知名度在業內比較高:不僅是HD解析度提升,而且用Sony的3D堆疊背照式(BSI)結構技術,將單畫素尺寸做小到了4.86μm。

李開復則在活動上評價說:「Prophesee的神經擬態機器眼技術在多個領域具備巨大潛力,包括運算攝影、自動駕駛、工業自動化、物聯網、醫療保健、AR和VR等…。」這次媒體活動上,Verre提到了這種基於事件的視覺感測器的更多應用,這對深入理解基於事件的視覺感測器技術相當有價值,可窺見在Prophesee眼中,這項技術的未來。

首先是與Xperi合作,推出的座艙監控技術,基於Prophesee的技術對駕駛的眼睛、表情、眨眼頻率、目光注視方向做監測。Prophesee大中華區商務發展主管Johney Lu補充,這個應用是基於Prophesee視覺感測器的幾個特點,其一是速度快,對眼球、注釋方向就能高速追蹤;而且對眨眼頻率的監控也能輔助檢測疲勞駕駛。其二是高動態範圍,應對實際開車過程中的高光比場景,依然能夠清楚地感知臉部、眼睛資料。

其中有個比較有趣的特性是,Metavision感測器「透過太陽眼鏡也能看到眼睛」,Lu說:「太陽眼鏡的反光不造成影響。」這一點大概的確是檢測可見光的傳統CIS的弱項。基於事件的影像感測器如何做到這一點,值得後續進一步探討。

第二個例子同樣是ADAS應用,是Terranet AB和Mercedes-Benz共同開發的VoxelFlow感測器技術,其中就應用了Prophesee的感測器。這項技術的本質是進行3D Point Cloud掃描,Point Cloud是3D掃描後產生的所謂「點雲」,這些點雲構成3D模型,也就是一組資料點,每個點都有對應的xyz座標。

用點雷射掃描,「經常會碰到一個問題,就是點不夠多,而且迴圈比較慢。」Lu表示,「我們補足了雷射的缺點。這套方案利用雷射在精確度上的優勢,以及我們在速度上的優勢,可以直接造出非常精準高速的3D點雲。」

Verre則說,這套方案在車上安裝了3個基於事件的感測器。在雷射掃描的過程中,Prophesee的感測器會追蹤雷射,並對掃描到的內容進行3D建模,以互補的方式分析前方的路況。快速的3D點雲很重要,因為快速就意味著可以更快地進行監測,從而實現更安全的駕駛。」

在醫療領域,Prophesee和Cambridge Consultants共同開發了「透過細胞即時無菌檢測方式的下一代細胞療法」。Verre指出,「用傳統方法需要幾天時間才能完成這樣的生物學監測。基於我們技術的新設備,在幾微秒的時間內就成完成檢測、跟蹤和分類污染物。」

此外,還有為盲人部分恢復視力的應用。GenSight Biologics的GS030光遺傳療法實驗中,用到的護目鏡就採用了基於事件的視覺感測器,配合植入到視神經附近的無線視網膜植入物,Prophesee的視覺感測器會將從外界接收到的訊號發往視網膜植入物——植入物則將訊號轉為電壓訊號刺激大腦引起視覺感知。Prophesee稱其為「矽視網膜」,主要針對的是一些晚期的視網膜色素變性病例。

在消費電子產品上,Verre也談到了這類感測器的應用。「在手機上,Prophesee的基於事件的感測器,和傳統的感測器結合,能夠改善手機拍照的品質。」這一案例主要是基於傳統成像系統,受制於曝光時間,畫面中高速運動的物件會出現運動模糊。而基於事件的視覺感測器的特性,決定了它能夠捕捉動態資訊——不考慮後端運算平台,則基於其等效10,000fps的影格率,捕捉動態畫面也沒有壓力。

所以理論上,傳統基於影格的影像感測器和Prophesee的Metavision感測器結合,就能實現運動偽像的消除。不過事實上,傳統成像系統對運動偽像的消除,現階段已經普遍開始應用機器學習演算法——Google和華為在這方面都屬於佼佼者。不過筆者認為,Prophesee基於事件的視覺感測器,更多的應用方向應該是機器視覺;在運算攝影領域,大概還需要觀察此類方案的演算法和「療效」如何。

除此之外,Lu還提到了一些Metavision感測器的應用。「工業領域,我們的感測器可以感知震動頻率、幅度,進行非接觸性的震動檢測。比如對大型器械震動做長期觀察,當震動發生變化時就表明可能存在故障。有些物體本身就是不適合觸碰的,比如高壓、鐵軌——傳統接觸式震動檢測方案無法使用。」

「再舉個例子,液體噴射。半導體製造經常要控制液體噴射到表面。」Lu說,「Prophesee的感測器可以透過感知水珠數量,來檢測到底噴了多少液體在表面,這對於品質檢測很重要。以前要看運氣,現在就可以做到精確感知。傳統視覺方案跟不上水珠速度,無法運算水量。」

基於事件視覺感測器潛力

聽完這些應用案例介紹,感覺基於高寬容度、等效高影格率、資料量少、速度快這幾個特點能組合的「玩法」實在不少。在傳統的影像感測領域,我們常說全幅相機目前所用CIS的訊噪比差不多已接近物理極限,全幅CIS在性能上更多的受制於自然界的散粒雜訊(shot noise)。當這些傳統的方案應用到機器視覺領域,很多應用會顯得無能為力。

基於事件的視覺感測器則提供了一種新的思路。這項技術的誕生其實早在30年前,只不過此前始終在邁向技術成熟和商用之路上。而且要知道,與其最匹配的後端運算平台是神經形態運算平台,比如特爾Loihi——這些技術也還在初生階段,所以基於事件的感測器本身應當也還有相當大的發展後勁。

本文原刊登於EE Times China網站

 

 

 

 

加入LINE@,最新消息一手掌握!

發表評論