在比利時布魯塞爾(Brussels, Belgium)舉行的AutoSens 2019車用感知技術大會不乏技術創新。但技術開發商、一線供應商(Tier-1)和OEM仍在探索所謂的「強大感知」(robust perception)技術,以便能夠因應黑夜、濃霧、風雪、冰封和油污等任何道路狀況。

儘管汽車產業尚未找到一劑通用的靈丹妙藥,但許多公司已推出其新型感知技術和產品概念了。

20191217_perception_NT31P1

GM剛推出的Cruise最新測試車型裝配了多種感測器,如圖中紅色部份所示。(來源:Cruise)

今年AutoSens大會的重點聚焦於先進駕駛輔助系統(ADAS),比起自動駕駛車(AV)還更引發關注。

顯然地,工程領域已經不再否認,目前可能達到的技術距離最終推出人工智慧驅動(AI-driven)的商業化自動駕駛車(真正的無人駕駛)之間,還存在著巨大的差距。

但這並不是說自動駕駛車無法實現。VSI Labs創辦人兼總裁Phil Magney預測,「第四級(Level 4)自動駕駛車的上路將被嚴格限制在設計行駛範圍(ODD),並基於非常全面和徹底的安全用例。」Magney說,「非常嚴格限制的ODD意味著特定的道路、特定的車道、特定的行駛時段、特定的天氣狀況、一天中的特定時間,以及特定的上下車地點等。」

在大會閉幕前的專題討論上,專精於AI領域的康乃爾大學(Cornell University)電腦科學教授Bart Selman被問及AI驅動的車輛是否會具備「基本的理解能力」——即知道它實際上正在駕駛並瞭解周圍的環境?他回答說:「要做到這一點至少還要10年……,也可能是20年到30年。」

同時,對於迫切想要打造ADAS和高度自動化車輛的人來說,目前的主旋律在於如何最有效地賦予車輛「視覺」。

Edge Case Research技術長兼卡內基梅隆大學(Carnegie Mellon University)教授Phil Koopman指出,高度自動化車輛的根本在於「感知」,即瞭解目標的位置。他解釋說,與人類駕駛相比,自動駕駛車的弱點是「預測」,即瞭解行車環境,並預測所感知到的目標下一步可能往何處去。

智慧向邊緣移動

在此次大會上出現的一種新趨勢,就是在邊緣增加更多智慧。許多供應商直接在邊緣融合不同的感測資料,包括RGB攝影機+近紅外線(NIR)、RGB+SWIR、RGB+光達(LiDAR)、RGB+雷達等,從而在感測節點上增加了更多智慧,

然而,業界廠商對對於如何實現融合的意見分歧。有些廠商選擇在邊緣促進感測器融合,另一些廠商,例如Waymo,則更傾向於在中央處理單元(CPU)上對原始感測資料進行集中融合。

由於歐盟新車安全評鑑協會(Euro NCAP)規定駕駛人監控系統(DMS)必須在2020年之前納入主要安全標準,因此,在AutoSens大會上,出現了許多新的監控系統,不僅用於監控駕駛人,還能監控乘客和車輛中的其它目標。

其中一個典型的例子是安森美半導體(On Semiconductor)展示的新型RGB-IR影像感測器,整合了Ambarella先進的RGB-IR視訊處理SoC和Eyeris的車載場景理解AI軟體。

NIR與SWIR

無論是在車內還是在車外,都必須能在黑暗中看清目標,這意味著使用紅外線(IR)。

安森美半導體的RGB-IR影像感測器採用NIR技術,另一家參展商TriEye更進一步採用基於短波的紅外線(SWIR)攝影機。

20191217_perception_NT31P2

可見光、近紅外線與短波紅外線(由左而右)。(來源:TriEye)

SWIR的優勢之一在於能夠在任何天氣/照明情況下「看到」物體。更重要的是,SWIR可以提前判斷道路的危險狀況(例如道路結冰),因為SWIR能夠檢測由每種材料的化學和物理特性所決定的獨特光譜響應。

然而,由於製造SWIR攝影機的砷化銦鎵(InGaAs)成本極高,因此大多僅限於軍事、科學和航太應用。不過,TriEye聲稱已找到一種使用CMOS製程技術設計SWIR的方法。

TriEye執行長兼聯合創辦人Avi Bakal說:「這就是我們所取得的突破。就像半導體一樣,我們從一開始就採用CMOS大量製造SWIR攝影機。」相較於價格超過8,000美元的InGaAs感測器,Bakal表示,TriEye攝影機的價格只有「幾十美元」。

20191217_perception_NT31P3

SWIR的攝影機拆解。(來源:TriEye)

缺乏標記資料

AI的最大挑戰之一在於訓練資料不足。更具體來說,是「附加標記的訓練資料」(annotated training data)。Magney說,「推論模型的好壞取決於資料及其收集方式。當然,訓練資料需要用後設資料(metadata)來附加標籤,但這非常耗時。」

在AutoSens大會上,業界熱烈討論 了「生成對抗網路」(GAN)方法。據Magney介紹,GAN是指兩個神經網路相互競爭,從而創造新資料。針對特定的訓練集,這項技術據稱可以學習產生與訓練集相同統計特性的新資料。

例如,Drive.ai正利用深度學習來加強標記資料的自動化,從而加速繁瑣的資料標記過程。

Koopman在AutoSens大會的演講中也談到了準確標記資料的巨大挑戰。他懷疑目前很多資料仍然未經標記,因為要能準確地執行這項任務只有少數幾家大公司能夠負擔得起。

參展AutoSens的AI演算法新創公司也坦承,向協力廠商公司支付資料標記的費用的確帶來沉重的壓力。

GAN是一種途徑。但Edge Case Research提出了另一種方法,無需標記所有資料即可加速開發更安全的感知軟體。該公司近日推出了一款稱為Hologram的工具,提供一個AI感知壓力測試和風險分析的系統。Koopman稱,Hologram無需標記高達千兆位元組(PB)的資料,只需執行兩次,就可收集更多資料或做更多訓練,以警告哪裡有「疑點」,以及哪裡「最好回頭再檢查一番」。

此次大會還提出了另一個議題,如果汽車OEM更換了用於資料訓練的攝影機和感測器,將會對於帶標記的資料集帶來什麼影響?

Algolux行銷和策略夥伴關係副總裁David Tokic告訴《EE Times》,從事ADAS和AV研發的汽車工程師關注於兩件事:一是在各種條件下的穩健感知;其次是準確且可擴展的視覺模型。

目前部署在ADAS或AV中的典型攝影機系統差異很大,不同的鏡頭(提供不同的視野)、感測器和影像訊號處理,提供的參數完全不同。通常一家技術公司會選擇一種攝影機系統,收集一個大型資料集,並對其進行標記和訓練,以建構適應該攝影機系統的準確神經網路模型。

但是,當OEM更換了原來訓練資料所用的攝影機會有什麼影響?這一改變可能會影響感知的準確性,因為神經網路模型已經適應原來的攝影機,現在卻要處理一組新的原始資料。

OEM是否需要重新訓練其資料集?

20191217_perception_NT31P4

Tesla、Waymo、GM/Cruise在其AV中使用了大量攝影機。(來源:Algolux)

針對影像感測器是否可更換,VSI Labs的Magney說:「除非規格相同,否則最好不要更換。例如,在VSI Labs,我們為FLIR紅外線熱影像儀訓練了自己的神經網路,並且收集與我們所部署的熱影像儀規格相同的訓練影像。之後我們確實曾經更換過感測器,但其規格完全相同。」

不過,Algolux聲稱開發了一種新方法,可以「在幾天之內」轉換這些先前創建的資料集。Tokic說,該公司的Atlas攝影機最佳化套件能夠瞭解「先驗資料」——即攝影機和感測器的特性,再將其應用到檢測層而實現了這一方法。Tokic說:「我們的使命是讓OEM能夠自己選擇攝影機。」

AI硬體

過去幾年來湧現了眾多的AI處理器新創公司,掀起了AI浪潮,並引發業界宣稱硬體復興時代已經到來。其中許多AI晶片新創公司將ADAS和AV定為其目標市場。

例如,針對這一新興的AI加速器市場,Ceva在AutoSens大會上首度亮相其全新AI核心和‘Invite API’。

然而,奇怪的是,除了輝達(Nvidia)和英特爾(Intel)/Mobileye設計的晶片,以及特斯拉(Tesla)開發僅供內部使用的「全自動駕駛(FSD)電腦」晶片之外,新一代的多功能車輛尚未開始部署新的AI晶片。

另一方面,安森美半導體在AutoSens上發佈了RGB+IR攝影機,這表明安森美/Eyeris團隊已經選擇Ambarella的SoC作為其AI處理器,用於車載監控任務。

Eyeris執行長Modar Alaoui坦言,業界通常不會認為Ambarella是一家AI加速器公司,而是傳統的視訊壓縮和電腦視覺晶片業者。他說:「除了Ambarella的CV2AQ SoC,我們找不到其它任何能夠支援10個神經網路、功耗低於5W且每秒可擷取30格視訊(由6支攝影機用於車內監控)的AI晶片,以執行Eyeris的AI車載監測演算法。」Ambarella的晶片由於滿足了這些要求而獲得青睞,擊敗了其它所有正在大肆宣傳的加速器。

不過,Alaoui希望到明年1月在拉斯維加斯舉行的國際消費電子展(CES)之前,該公司的AI軟體可以移植到另外三個硬體平台上。

20191217_perception_NT31P5

安森美、Ambarella和Eyeris展示使用三個RGB-IR攝影機的新型座艙監控系統。(來源:EE Times)

同時,安森美半導體強調,駕駛人和乘客監控應用需要具備「在可變光照的情況——從陽光直射到漆黑一片——均可擷取影像」的能力。該公司稱,憑藉其出色的NIR響應,「RGB-IR CMOS影像感測器使用3.0µm背照式(BSI)和3重曝光的高動態範圍(HDR)技術,可提供全高解析(HD) 1,080p的輸出。」這些感測器對於RGB和IR光敏感,可以在日光下擷取彩色影像,並在NIR照明條件下擷取單色IR影像。

超越駕駛人監控系統

Alaoui宣稱Eyeris的AI軟體可以執行複雜的身體與臉部分析、監控乘客活動並進行目標檢測。他補充說:「除了駕駛人監控,Eyeris的AI軟體還可以監控車內的一切,包括座椅表面和方向盤」,他強調該公司的進展已經超過Seeing Machines所能成就的性能了。

不過,Seeing Machines歐洲客戶方案總監Laurent Emmerich對此難以苟同。他認為:「超越監控駕駛人以外,涵蓋在車輛內部的更多目標是一個很自然的發展過程,我們也正朝此目標前進中。」

他補充說,相較於新創公司,Seeing Machines的優勢在於,「過去20年累積的AI專業知識為我們的電腦視覺技術奠定了堅實的基礎」。目前,Seeing Machines的駕駛人監控系統已經成功被「6家汽車製造商採用,並設計於9種程式中。」

此外,Seeing Machines還開發了自家的硬體——Fovio駕駛人監控晶片。那麼,該晶片是否也能用於未來的車載監控系統?Emmerich解釋說,該晶片IP將應用於可配置的硬體平台。

冗餘

為了提高車輛的感知能力,以及增加冗餘以確保安全性,需要將多種不同形式的感測器組裝在車輛中。

20191217_perception_NT31P6

Outsight在AutoSens大會上展示感測器融合盒產品。(來源:EE Times)

法國新創公司Outsight在AutoSens上推出一款由多個感測器組成的高整合產品。該公司聯合創辦人、Whitings前執行長Cédric Hutchings解釋說,Outsight的感測器融合盒旨在「透過理解提供感知,瞭解整個環境(包括道路上的冰、雪、油漬等)並按實際情況進行處理。」他補充說,「我們甚至可以採用有效的高光譜感測技術,為路面材料進行分類。」

但Hutchings並未透露Outsight的融合盒中具體採用了哪些公司的感測器,「由於我們還在調整合適的規格參數和應用,目前還無法公開我們的主要合作夥伴。」

《EE Times》在隨後與TriEye的討論中掌握到Outsight可能使用了TriEye的SWIR攝影機,但目前兩家公司尚未達成最終協議。

Hutchings解釋說,Outsight的感測器融合盒計劃於2020年第一季出樣給Tier-1供應商和OEM。該產品將作為一個新增的獨立系統,為確保安全性和「真冗餘」(true redundancy)提供「非關聯性資料」。

該融合盒採用不依賴「機器學習」的途徑,提供確定的結果以使其「可加以驗證」。

另外,Aeye也針對ADAS/AV市場推出其iDAR產品,這是一款融合了HD攝影機的固態MEMS光達。AEye產品管理副總裁Aravind Ratnam表示,透過結合兩種感測器並嵌入AI,這款可即時運行的系統能夠「解決某些極端情況」。

Aeye解釋說,iDAR系統旨在將2D攝影機的畫素(RGB)和3D光達資料「立體畫素」(XYZ)結合起來,以提供一種新的即時感測器資料類型,從而為AV路徑規劃系統提供更快速、更準確、更長距離和更智慧的資訊。

20191217_perception_NT31P7

AEye AE110的產品性能與產業基準比較。(來源:AEye)

Ratnam在簡報中提到AEye研究了各種用例,「我們研究了300個場景,挑選了56種合適的用例,並進一步縮減至20個場景。」這20個場景中的攝影機、光達和AI的融合最能發揮作用。

Ratnam展示了這樣一種場景:一個小孩忽然不知從哪裡竄出來,追著一個球衝到街道中央——正好在一輛車的前面。此時,位於邊緣的攝影機融合光達可以更快速作業,從而縮短了車輛的反應時間。他指出:「我們的iDAR平台可提供非常快的計算速度。」

針對邊緣感測器融合的優勢,Waymo的一位與會工程師表示並不確定是否會有實質性的改變。他並提問:「邊緣融合帶來的速度提升會達到幾微秒的差別嗎?我不確定。」

AEye深信iDAR能為Tier-1供應商提供更多附加價值。Ratnam強調:「我們與Hella和LG等主要的合作夥伴密切合作,因而能夠大幅降低iDAR的成本,目前我們的3D光達價格已經降低到與ADAS差不多了。」

Ratnam說,在接下來的3到6個月內,AEye將完成嵌入AI的車用級RGB和光達融合系統,而且價格將會「低於1,000美元」。

20191217_perception_NT31P8

車用光達系統出貨量。(來源:IHS Markit)

IHS Markit汽車半導體和感測器資深分析師Dexin Chen向與會者表示,光達供應商一直在「過度行銷,吹噓性能。」他指出,「未來可以宣傳的是光達帶來的物理優勢,但能否真正商業化才是決定因素。如今業界更需要的是標準化、聯盟和夥伴關係、供應鏈管理,以及AI合作夥伴。」

(參考原文:6 Trends on ‘Perception’ for ADAS/AV,by Junko Yoshida)

本文同步刊登於電子技術設計雜誌2019年12月號