今存在感弱 未來基於視覺感測器市佔將達9%

作者 : 黃燁鋒,ESMC

IDTechEx預計,基於事件的視覺感測器晶片,未來10年會達成每年2,000萬美元的市場規模...

影像或視覺感測器這兩年一直都是熱門領域,即便其應用場景支撐力之一的手機市場表現平平,還有華為被列入實體清單、新冠疫情爆發等干擾因素存在,這塊市場近2年的總體發展仍然相當有看頭。

不過當前我們關注的影像/視覺感測器主流,還是比較常見基於影格(frame-based)的影像感測器。《EE Times》美國和中國版之前刊登過不少文章談基於事件(event-based)的視覺/影像感測器——從市場來看,這還是個新興領域。不過基於事件的視覺技術,或者叫神經形態視覺技術(neuralmorphic vision technology),其實發展年份也不算短。

1991年最初有人提出矽視網膜(silicon retina)模仿人眼神經結構之後,基於事件的視覺技術研究其實就逐漸變得多樣。可能大部分讀者對基於事件的視覺感知技術還很陌生,不過這種技術現在是CVPR這類視覺技術峰會的常客。今年年中的CVPR上,大約有15篇報告都是在談基於事件的視覺技術。

這個領域比較有代表性的公司如Prophesee、iniVation,這兩家公司分別是在2014、2015年成立,到如今也有6、7年的歷史。先前ESMC採訪Prophesee CEO Luca Verre的時候,他也談到基於事件的視覺技術發展並不是現在才開始,只不過如今開始步入到了成熟期,對商用真正具備了價值。這兩年Prophesee在中國的市場動作正變得頻繁,這也可能是基於事件的視覺技術成熟的某種實現。

10年市場預期

有關基於事件的視覺技術本身,並不是本文要談的重點。簡單來說,基於事件的視覺/影像感測器,所有的畫素是相互獨立、非同步的,每個畫素僅在感知到外界有亮度上的變化(達到一定閾值)時,才會輸出;應用這種技術商業企業的宣傳普遍說,其等效影格率因此達到10,000fps。

本質上這類影像感測器的特點,就是僅在檢測到外界的運動變化時才會記錄資訊,且不記錄靜態資訊。其主要價值大致上有幾個,其一是超低延遲,其二是不存在動態模糊,其三高動態範圍,以及超低功耗。另外對後端而言還有些附加價值,比如說產生的資料量,比一般基於影格的技術少很多。

 

 

像這樣的視覺/影像感測器,用來拍照肯定是不行。但其特性決定其格外適用於高速避障、ADAS/AV,以及更多工業領域的視覺感測應用。就市場來看,這的確是個新興應用領域。

一般要觀察某一種技術是不是真的具備發展潛力,無非也就是看參與這項技術商用的企業發展情況,以及市場分析機構的預測和報告。其實市場分析機構之前都沒怎麼提過基於事件的視覺技術,不過在今年7月,IDTechEx比較罕見地在影像感測器技術10年報告中,提到了基於事件的視覺技術——IDTechEx預計,基於事件的視覺感測器晶片,未來10年會達成每年2,000萬美元的市場規模,他們將目前的市場稱作「pre-revenue status」。

IDTechEx認為市場發展動因,主要就是在談基於事件的視覺感知技術的幾個優勢,包括僅檢測場景的動態變化,後續資料處理更簡單,資料傳輸和處理的量顯著減少;高動態範圍,也就意味著畫面中的高亮度溢出情況顯著減少,而且夜晚超低照度的場景也沒問題等;很高的時間解析度——也就是所謂達到等效10,000fps的影格率(如果依照基於影格的角度思考)。

基於事件的視覺感知技術雖然是沒有「影格」的概念,但因為後端傳統運算力平台的限制,系統仍然會有個「時間解析度」,只不過這個時間解析度會顯著高於傳統基於影格的方案(比如傳統視覺/影像感測器60fps/120fps的時間解析度)。

IDTechEx預測的市場應用也在於自動駕駛、ADAS、無人機的避障、導航。不過,該市調機構指出,「這些市場仍然需要大量軟體發展和資料收集工作,來完整地利用基於事件的視覺資料;因此IDTechEx相信,具備更具可預測性的輸入資料的那些更小的市場,比如說AR/VR的虹膜追蹤、雷射掃描(profiling),會成為基於事件的視覺技術最早的應用。」

 

 

Prophesee今年也援引過Yole Développement的市場預測資料。Prophesee公佈的這份資料在量級上看起來會更激進一些,如上圖所示。預計到2030年,在AI運算與感測市場,神經形態AI會佔8%,規模達70億美元;2035年則會成長到18%——這應該不只是基於事件的視覺技術。

 

 

而基於事件的視覺感測器,在整個CMOS影像感測器(CIS)市場上的比重,預計到2030年會達到9%——如上圖所示。從其應用構成來看,似乎從2023年開始,「Mobile」就會成為其中的主力。其他應用還包括IoT、工業、監控、汽車。在「Mobile」手機市場的滲透預測,還是有些出乎意料。

市場在探索中成長

前兩年,三星(Samsung)申請了Dynamic Vision Sensor商標,主要應用於行動和平板——動態視覺其實是基於事件的視覺感知技術的另一個名字;iniVation也將自家的技術稱作動態視覺,iniVation預設比較早的市場應用是工業視覺應用——這和Prophesee的認識類似。以前談工業4.0的時候,經常提到工廠生產的預測性維護(predictive maintenance),還有高速生產檢測等,動態視覺平台據說就能實現高速3D基礎設施檢測。

前不久Prophesee在談自家感測器的應用時,其實也提到了工業領域,這類方案可感知震動頻率、幅度,進行非接觸性震動檢測——比如對大型設備設施震動做長期觀察;甚至弧焊引導——因為基於事件的視覺感測器動態範圍很大,焊點太亮也沒問題,依然可以引導焊頭位置走向。

這些應用其實都是基於事件的視覺技術低延遲、高動態範圍、高時間解析度的特性。先前iniVation CEO Kynan Eng在接受《EE Times》美國版採訪時曾提到,工業視覺是相對低風險,但市場規模不大的應用方向。iniVation前年和三星合作,開始向機器視覺行業銷售完整的攝影機——從單純出售晶片到更偏系統的發展。這是典型的市場參與者尋求價值擴大和探索。

iniVation認為,和三星這類CIS市場的巨頭合作能夠擴大其感測器產品在機器視覺領域的應用範圍,將其擴展到更多的市場上,比如說食品、包裝、消費電子、汽車等。

其實Prophesee先前和Sony合作,一起推出堆疊式(stacked)基於事件的視覺感測器,在市場上更加廣為人知。Verre表示,Prophesee和Sony合作推出的已經是Prophesee推出的第四代視覺感測器產品,主要是結合Prophesee基於事件的視覺感知技術,外加Sony的背照式+3D堆疊生產製程,讓基於事件的視覺感測器畫素尺寸第一次縮小到4.86μm。

 

Prophesee的視覺感測器。

 

不過Prophesee預期,未來10年基於事件的視覺感知技術將會大規模應用在行動市場上,這一點其實有些令人困惑,因為這類感測器並不能直接用於拍照、攝影。Eng提到要說服手持設備製造商,將這樣的感測器放到手機裡,「這對於高速變化的感知很有幫助,雖然可能很多人就只是想用手機自拍、拍攝食物而已。」

Verre前不久在媒體溝通會上列舉的應用實例,包括協助「改善手機拍照的品質」。因為一般基於影格的影像感測器受制於曝光時間,畫面中的高速運動物件會出現運動模糊。而基於事件的視覺感知技術有著很高的時間解析度,它無懼動態模糊,所以將基於事件的攝像頭與傳統RGB攝影機配合,就能實現消除運動偽像。

不過筆者還沒有親身看到過這種應用,不瞭解其實際效果如何。因為兩種技術的結合,在成熟應用上也需要完善的演算法。許多應用雖然理論上行得通,但實際操作難度甚大,Verre表示Prophesee本身會提供這樣的演算法。不知道未來1~2年會不會看到這樣的攝影鏡頭在手機上問世。

 

Speck攝影鏡頭模組。

 

去年,Yole Développement分析師Pierre Cambou曾說,這類技術在「行動市場的視窗期會是2021或2022年。華為手機上有5顆攝影鏡頭,但卻還沒有看到always-on的神經形態攝影鏡頭。很多人常談到多光譜技術,但我一直在想的是即時感知能力(always-on awareness)。」

早在2019年,aiCTX和iniVation共同發佈了一款名為Speck的低功耗神經形態SoC,主要針對手機和IoT市場。整個晶片包含了視覺感測器+卷積神經網路處理器,其目標應用場景就是以超低功耗達成always-on。

不知道類似預防運動模糊,以及always-on的視覺感知能力,未來在手機應用領域,會不會成為基於事件的視覺感測器的殺手鐧。筆者認為,always-on的視覺感知能力在手機上可能會是個很重要的方向——它能實現大量玩法,比如手機息屏狀態下超低功耗的環境感知能力,而這兩年可能就要見分曉。

 

 

近2~3年為關鍵市場發展期

在汽車領域,Verre表示,「由於我們的感測器始終開啟,加上低延遲和不是基於影格的特性,能夠只檢測相關ROI,利用這樣的訊息來補強其他各種技術,比如雷射雷達。」其實在汽車應用上,Prophesee先前列舉的一個應用就是將基於事件的視覺感知,與雷射3D Point Cloud掃描配合,同時利用雷射的精確度與基於事件感知技術的速度,讓後者的感測器追蹤雷射,並對掃描到的內容做3D建模,來分析路況。

這種技術已經應用在一種名為VoxelFlow感測器技術上,是Terranet AB和賓士一起開發,其中的感測器就是來自Prophesee。Prophesee上次發佈消息是有關獲得新一輪C融資,資方背景包括小米、豪威等,還是能夠一定程度表明市場的主流參與者有將目光投向這種技術。雖然對投資行為而言,廣撒網一直是個常規。

Eng先前也提到了汽車應用,表達低功耗、低資料量對於提升自動駕駛能力的價值。Yole Développement對於神經形態運算市場的預測是,五年內達到6,900萬美元市場規模,2029年50億美元;其中神經形態感知市場2029年達到20億美元——雖然可能不只是基於事件的視覺感測器,不過這個預測量級還是遠大於IDTechEx。

這2~3年可能將是考驗Prophesee、iniVation這些公司發展的關鍵,也是基於事件的視覺感知技術最終能否成為主流的關鍵。所以也不難看到Prophesee這類企業在中國展開更多的市場活動。基於事件的攝影鏡頭這兩年會不會出現在消費電子產品上,可能也是這個市場是否會如市調機構預測般的關鍵。

本文原刊登於國際電子商情(ESMC)網站

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論