隨著有越來越多汽車廠商開始將不同的感測器整合到先進駕駛輔助系統(ADAS)/自動駕駛車輛,他們通常都會認同「感測器融合(sensor fusion)」是高度自動化駕駛安全性的關鍵。

但不為人知的是,這些廠商所採用的資料──是原始(raw)資料或經過處理的資料?──細節,以及他們在融合不同種類感測器資料時面臨的挑戰;如市場研究機構Strategy Analytics汽車市場分析師Ian Riches所言:「目前的感測器融合並沒有在原始感測器資料上完成,通常每個感測器都會進行自己的本地處理。」

EDA供應商明導國際(Mentor Graphics)將在近日於美國底特律舉行的年度SAE World Congress汽車工程師大會上,展示如何將來自不同感測裝置──雷達、光達、視覺或超音波…等等──的原始資料即時融合,以實現在感測精確度以及整體系統效益上的大幅提升。

Mentor Graphics正推出名為DRS360的自動駕駛平台,號稱能將來自所有系統感測器之未經過濾的資訊直接傳送到一個中央處理單元,然後將那些原始感測器資料在各個層級即時進行融合;該公司副總裁暨嵌入式系統部門總經理Glenn Perry接受EE Times採訪時,比較了「感測器融合」與「原始資料融合」的不同,指出兩者之間存在著「微妙卻非常重要的差異」。

一般來說,提供給汽車廠商的感測器是模組化設計,以預先處理資料;Strategy Analytics的Riches解釋:「舉例來說,從攝影機傳送至融合系統的資料並不會是實際的影像資料,而是對影像中重要區域的描述──像是哪裡有一條白線、哪裡有一輛車、哪裡有交通號誌…而所有的融合在這時候才以那些較高層級的資料進行。

20170406_fusion_NT02P2

以來自不同感測器模組經處理之資料進行的感測器融合流程
(來源:Mentor Graphics)

Mentor認為,擺脫各個終端節點使用之感測器模組的預處理微控制器,選用原始資料,能讓ADAS/自動駕駛車輛的設計工程師大幅提升即時性能,並降低整體系統成本與複雜度;此外也能利用所有擷取到的感測器資料,為車輛所在環境與駕駛路況建立最高解析度的模型。

DRS360是一款可開發符合ISO 26262 ASIL D標準之系統的平台;Mentor的Perry指出,該平台以賽靈思(Xilinx)的Zynq系列FPGA處理原始資料融合,搭配負責ADAS或自動駕駛功能的SoC (可以是ARM或x86架構),以及一顆MCU (例如英飛凌-Infineon的安全微控制器)。

20170406_fusion_NT02P1

DRS360平台能提供集中化的原始資料融合
(來源:Mentor Graphics)

產業顧問機構Vision Systems Intelligence創辦人Phil Magney表示:「感測器融合是一項複雜的任務,用原始資料會更難;」他解釋,原始資料融合能更有效率地讓運算資源在集中化的系統中整併,不過在演算法的整合上面臨更艱難的挑戰。」

為何原始資料融合很困難?

原始資料融合難在哪裡?Mentor的Perry表示,首先是每個感測器會產生資料流,而且是以不同的畫面更新率、不同的採樣率以及間隔時間:「這是一個異步(asynchronous)系統;」其次,不同類型的資料:「需要被統整為一致性的表述(cohesive representation)。」

例如攝影機的原始影像(2D)、光達的點雲(point cloud,為3D)以及雷達的ADC輸出,這些都必須被融合到符合時間/空間的3D環境圖;而第三,如Perry所言,必須要被統整的:「是真正很龐大的資料流。」針對未指明的3D資料集,Mentor還開發了取得專利的演算法,能實現將光達的空間位置資料、來自雷達的車輛速度資料,以及視覺裝置的物體偵測資料之融合。

Perry表示,過去在分散式的感測器資料模組中,每個感測器通常會丟棄一大堆資料;但集中化的解決方案採用未過濾之感測器資料,能確保精確度與可靠度的強化;他強調Mentor花費兩年的時間進行該平台的開發:「對於系統效益的改善,我們自己都很驚訝──包括延遲的降低與處理性能的增加,都是由原始資料融合的演算法所實現。」

而產業專家認為,原始資料融合可望在未來催生更「開放」的智慧車輛平台,取代目前比較像是「黑盒子」的方案…

 
繼續閱讀:智慧車輛感測器融合大作戰(下)

編譯:Judith Cheng