自動駕駛車輛需要攝影機、雷達和光達(LiDAR)等感測器來瞭解車輛周圍的環境，同時還需要運算能力和人工智慧(AI)來分析多維或多來源資料串流，即時為車輛提供完整且一致的環境視圖。感測器融合為車輛的完全自主指明了方向，而今仍然存在許多技術挑戰。

在2020布魯塞爾汽車感測器大會(AutoSens Brussels 2020)的一場演講中，英飛凌科技(Infineon Technologies)的概念工程師Norbert Druml分享了該公司在歐洲展開一項耗資5,100萬歐元的研究專案——實現汽車智慧化的「Prystine」可程式設計系統(Programmable Systems for Intelligence in Automobiles)。Druml展示了該專案至今所取得的重要成果，包括第三級自動駕駛(Level 3)以上的失效可操作(fail-operational)檢測與控制，以及由AI控制的原型車。

Prystine聯盟包括60家合作夥伴，分別來自歐洲及歐洲以外的14個國家，其中有BMW、福特(Ford)和瑪莎拉蒂(Maserati)等汽車製造商，英飛凌科技以及恩智浦半導體(NXP Semiconductors)等，還有一些技術合作夥伴和研究機構。

圖1：自動駕駛車輛需要各種感測器，即時為車輛提供完整的環境視圖。

(來源：Prystine)

失效可操作性

隨著車輛實現的自主功能越來越多，駕駛人將不再只專注於駕駛，而是必須花費更多精力來監控承擔駕駛任務的智慧系統。在Level 3自動駕駛中，當系統失效或自動駕駛功能達到操作極限時，駕駛人可以接管駕駛任務。但在Level 4和Level 5的自動駕駛等級時，卻不能依賴駕駛人及時接管或進行正確的操作。自動駕駛功能必須能夠自行處理危急情況。因此，在自動駕駛的檢測、預測和行動階段，失效可操作性至關重要。

圖2：英飛凌科技(奧地利)的概念工程師Norbert Druml。

Prystine的一個主要目標就是實現FUSION (Fail-operational Urban Surround Perception，失效可操作城市環境感知)，它基於強大的雷達和LiDAR感測器融合技術，以及控制功能，在鄉村和城市環境中，當惡劣天氣導致感測器失效時，可以確保車輛仍然能夠安全地自動駕駛。

「其目標在於從失效安全(fail-safe)系統演進為失效可操作系統。」Druml說，「從而真正提高未來汽車中所有元件的安全性。這些元件包括安全控制器、感測器、雷達、LiDAR、攝影機以及具有處理能力的運算平台等。」

根據Prystine合作夥伴們的設想，失效可操作系統在偵測到故障時並不會關閉全部功能。Druml說：「相反地，它將會啟動具有部份功能的備援系統，並減慢速度將車輛駕駛到下一個停靠區。」

為了實現Prystine所定義的FUSION，研究重點在於開發四組AI演算法叢集，具體如下所述。

檢測易致交通意外的群體

在歐盟(EU)因道路交通事故而死亡的人數中，行人佔22%，騎行者佔8%。該演算法叢集透過融合來自雷達、LiDAR和攝影機感測器的資料，檢測出容易發生交通事故的群體(如行人、騎行者、兒童、殘疾人和老年人)。SuperSight解決方案旨在消除盲點，使上述人群在進入駕駛人的視野之前就可以被發現。Prystine合作夥伴稱，SuperSight還可自動進行安全警示，提高駕駛人的警覺性，從而減少交通事故。該方案在車輛四周安裝了攝影機，具有360°視訊處理能力。

圖3：演算法叢集融合來自雷達、LiDAR和攝影機感測器的資料，可檢測易發生交通事故的體。

(圖片來源：Prystine)

交通管理

車輛從Level 2和Level 3級自動駕駛發展到Level 4，必須因應更複雜的交通狀況和路網，尤其是在城市環境中。Prystine合作夥伴正在研究一種交通管理解決方案，可以融合來自交通控制站、浮動車輛資料和自動車牌辨識攝影機的資料。

「我們融合這些資料，為車輛和道路使用者提供交通預測。」Druml說，「它提供的視野比汽車的實際視野更大，車輛可以利用這些資料最佳化其行程並規劃行駛路線。」例如，汽車能夠調整其行駛路線和速度，以便在綠燈時行駛，同時縮短行駛時間並減少能耗。

懸吊系統控制

Prystine聯盟評估了各種感測器技術，如雷射三角測量、雷達和超音波成像，它們可以掃描路面狀況，讓車輛透過更改阻尼係數或懸吊系統的垂直位置來因應這些預測狀況。Druml說：「演算法會分析前方道路的幾何形狀，並調整車輛的懸吊，讓用戶感覺不到道路上的坑窪或顛簸，大幅提升駕駛車輛的舒適性。」

車輛控制和路線規劃

Druml說，該演算法叢集可用於檢測碰撞、避免碰撞、變換車道、緊急停車、超車、重型卡車和大型拖車的後向操控，以及啟動/暫停安全控制等，部署在具有三個複雜度等級的樣車中。

第一個等級稱為共用控制方案，基於AI的輔助駕駛系統「不斷地分析車輛行駛軌跡，當檢測到安全攸關的緊急狀況時，AI輔助駕駛系統將為駕駛人提供支援，並以安全的方式解除危險警報。」

Druml說，第二個等級稱為分級控制，「可以在不同的自動駕駛等級之間順利切換」。例如，車輛可以從「受監管的城市控制模式切換為城市駕駛模式，它的實現不僅需要連續監控駕駛場景和汽車周邊情況，還要分析駕駛人的狀態和操作的複雜性。」

第三個複雜度等級是完全由AI控制車輛。Druml說：「我們在此融合了來自雷達、LiDAR和攝影機的感測器資料，並結合了雲端資訊，尤其是交通狀態和交通預測資訊，以改善基於AI的自動駕駛解決方案。」

他說，Prystine專案為期三年，將於2021年4月結束，但「該專案的願景」並不會終止。「合作夥伴們將會共同籌措資金，以加快開發和研究進程。」

進展、機遇和挑戰

激烈的競爭加速了自動駕駛車輛的出現，使感測器融合演算法的開發取得重大進展。但是，自動駕駛車的感測器融合發展到了什麼程度？業界廠商又需要做什麼？

圖4：Yole Développement技術和市場分析師Pierrick Boulay。

筆者向法國市場研究公司Yole Développement的技術和市場分析師Pierrick Boulay提出了這些問題。

Boulay回答：「汽車E/E(電氣/電子)架構正從分散式架構轉變為城市中心架構。但這兩者之間還差幾步路。」

他指出，汽車製造商奧迪(Audi)在2016年採取了第一步，即採用了zFAS網域控制站。所有的感測器資料，包括來自3D攝影機、遠端雷達、LiDAR和超音波感測器的訊號，都在持續地饋入網域控制站模組並進行處理。

Boulay說：「採用這種類型的網域控制站，可以更輕鬆地實現資料融合。」特斯拉(Tesla)的Autopilot硬體也採用了類似的方法，它「收集來自所有嵌入式感測器的資料，並控制音訊和射頻(RF)以及導航系統。」

正如Prystine專案所描述的，實現自動駕駛的一個關鍵點是融合，以及詮釋來自多個感測器的資料，使系統可以像人類駕駛一樣看到並理解車輛的周遭環境。Boulay表示，AI應用會越來越多，那些開發分析大量異質資料演算法的公司將擁有很多機會。對於製造資料處理晶片的公司來說，機會也同樣存在。隨著自動駕駛等級的不斷提高，對運算能力的要求也持續增加。例如，自動駕駛車的運算能力已經超過了每秒250TOPS，而特斯拉全自動駕駛的運算能力則接近了70TOPS。

運算能力可能無限增加嗎？要達到什麼程度才會被認為能夠滿足全自動駕駛車的需求？Boulay回答：「有些公司的最佳化系統只需中等運算能力即可實現全自動駕駛，另一些公司卻可能需要兩倍的運算能力；這有待時間來證明其極限何在。」

目前存在的一些挑戰都與感測器和運算的功耗有關，尤其是在電動車中。Boulay說，「處理大量的資料可能會影響電動車的行駛里程，而里程正是客戶最關心的問題。因此，自動駕駛系統必須具有高能效。」

感測器融合面臨的另一項挑戰是在不同維度空間(即2D和3D)融合資料的能力。Boulay說：「這是OEM和Tier One供應商必須面對的重要問題。LiDAR能夠以3D模式設置場景，而攝影機和雷達可以對該場景進行微調，使影像具有色彩、物體具有速度。」

「要實現這一技術相當複雜，但藉此將有助於拉開領跑者和落後者的差距。」

(參考原文：Sensor Fusion Is Prerequisite for Autonomous Vehicles，by Anne-Françoise Pelé)

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名