透過生物啟發方式擷取影像中的「事件」(event)聽起來不僅酷炫,而且未來感十足。但有多少開發人員真正目睹基於事件的機器視覺技術效果?

大多數的開發人員都聽說過或讀過這一類的消息,他們可能感到很好奇。但是,他們多半只能在局外觀看,而不曾經有過這種所謂「事件導向」(event-driven)的新型機器視覺技術之實戰經驗。

總部位於法國巴黎的新創公司Prophesee鎖定的正是這些在此競賽中的「旁觀者」。該公司日前推出其首款針對視覺系統開發人員的參考系統,協助其用於嘗試、測試以及瞭解神經形態(neuromorphic)視覺如何運作。

Prophesse執行長Luca Verre在接受《EE Times》訪問時表示,該公司的參考設計最初鎖定的用戶將是「工業自動化機器和機器人領域的開發人員。此外,在汽車和物聯網(IoT)系統的客戶也將找到有助於表徵[Prophesee]感測器性能的參考系統。」還有,研發實驗室和大學的研究人員也將從中受益。但Verre解釋說,真正的關鍵在於該參考系統將觸發圍繞著Prophesee事件導向、非影格基礎(frame-based)的視覺系統打造一個「生態系統」。「唯有建立了生態系統,才會帶來革命。」

Prophesee的Onboard參考系統將包含一個支援VGA解析度的攝影機,內建Prophesee的ASIC、高通(Qualcomm)的1.5GHz四核心Snapdragon處理器、六軸慣性測量單元(IMU),並支援一系列的連接器,包括USB 3.0、乙太網路、微型HDMI、Wi-Fi (802.11ac)與MIPI CSI-2。

20180607_Prophesee_NT31P1

該視覺感測器採用3/4英吋的光學格式,具有15μm的光學間距。據Prophesee表示,它不僅具有極快速的視覺處理能力,而且支援超過120dB的高動態範圍(HDR)。此外,由於支援低至次毫秒級的時間解析度,能夠擷取極快速的動作。

Prophesee聲稱其功率效率和系統延遲均「低於10毫秒(ms)」。該公司之前曾經說,其感測器支援低於10mW的工作特性。

不同於傳統frame-based影像感測器

數十年來,機器視覺系統設計人員依靠的是他們對於傳統影像感測器如何擷取視覺資訊的知識和經驗。傳統的感測器被設計為以一種預定的影格速率(frame rate)運作,而無論動態場景如何變化,而每個影格(frame)傳送來自所有畫素的資訊,同時對其進行均勻採樣。

所以,提高機器視覺系統的性能一直著重於由新型影像感測器所實現的更高影格速率和更高解析度。

Prophesee認為現在正是重新思考這種典範的時候了。

相較於傳統的frame-based攝影機,在Prophesee開發基於非同步時間的影像感測器中,每個畫素均以不同速率各自決定對場景的每一部份進行採樣。Prophesee技術長Christoph Posch曾經對為《EE Times》解釋:「透過對光線作出反應或改變接收到的入射光量,每個畫素單獨控制其採樣,而不涉及時脈。」因此,Prophesee的感測器僅選擇場景中最有用和最相關的元素,從而有助於降低傳統frame-based系統所造成的功耗、延遲和資料處理等需求。

Prophesee的感測器建立在「神經形態」視覺的基礎上。人眼和大腦並不會將視覺資訊記錄在一連串的影格中。Prophesee共同創辦人Ryad Benosman解釋,「人類擷取感興趣的東西——空間和時間的變化,並以極高的效率將這些資訊傳送至大腦。」

由於影像感測器並不受限於影格,因此,Verre解釋:「我們的技術不會錯過每個影格之間可能發生的重要事件。」

讓懷疑論者變成信徒

要求視覺系統工程師放棄神聖的影格概念,轉而開始使用事件導向的影像感測器來打造新系統,可說是一項艱鉅的任務。Verre在德國斯圖加特與博世(Bosch)晤談後,他在電話訪問中告訴我們:「這是許多工程師都難以接受的提議。」

Prophesee參考系統
Prophesee參考系統

協助設計工程師克服心理障礙的方法之一是為他們提供一個相容於現有frame-based攝影機的參考系統,讓他們能複製現有結果作為預設選項。同時,Verre解釋說,相同的參考系統還可用於展示non-frame-based的影像感測器如何執行,使其比較新型成像資料的優點。

他表示,該公司的Onboard參考系統採用「嵌入了大量工具庫的單板電腦,可用於檢測、追蹤、計數和測量等應用」。

鎖定工業自動化和機器人市場

Prophesee在德國國際‘Control’展會上展示其Onboard參考系統。據主辦單位表示,該展會專注於品質保證,是「工業4.0計劃的驅動力」。

然而,Prophesee要追求典型保守的工業自動化市場並不容易。Verre坦承,這是一個成熟的市場,由機器製造商、系統整合商和機器視覺專家組成,他們已經習慣於為每個機器視覺應用開發一系列昂貴且體積龐大的獨立設備。

20180607_Prophesee_NT31P2 Prophesee積極追逐工業自動化和機器人市場(來源:Prophesee)

Verre認為,Prophesee有能力改變遊戲規則。Verre聲稱,透過導入基於單板行動平台的機器視覺技術,自動化系統設計人員將能以更低功率和更多彈性,開發出更便宜、更小型的系統。

例如,Prophesee說,這是一種基於事件的方法,「讓感測器達到較高速視覺相關應用更高的動態範圍。」該公司補充說,它讓具有成本效益的感測器和系統記錄事件,否則這些事件需要傳統攝影機以每秒10,000格或更快的速率執行。

Verre說,設計人員還可以進一步將Prophesee的技術應用於「監測機器的健康狀態。「機器是由移動元件組成。事件導向的攝影機可以檢測振動機器的機動元件,並以高頻率(超過100Hz)監測任何異常行為。」他解釋說:「傳統的機器視覺系統並不容易做到這一點。它們必須始終開啟,才能在振動發生之際即時擷取影像,而這將會要求傳統系統必須具有大量處理能力和資料儲存。

20180607_Prophesee_NT31P3 Prophesee Onboard參考系統的軟體堆疊(來源:Prophesee)

相較於傳統工業自動化領域習以為常的單點機器視覺系統解決方案,Verre認為,Prophesee的參考系統的優勢就在於透過高性能、多功能和低成本解決方案,讓整體產業運作更流暢、更簡單。

Prophesee目前正與對事件導向解決方案感興趣的汽車和IoT系統公司合作。華為(Huawei)透露Prophesee正是其合作夥伴,在開發擴增實境/虛擬實境(AR/VR)和IoT計劃中使用了Prophesee技術。Verre說,Prophesee還與一家大型消費電子公司達成了合作協議,但他並未透露更多有關細節。

編譯:Susan Hong

(參考原文:Event-Driven Vision Comes Aboard,by Junko Yoshida)