感測器融合實現更高智慧的邊緣裝置

作者 : Jeff VanWashenova,CEVA人工智慧暨電腦視覺資深行銷總監

感測器本身只能生成原始數據,並不聰明。重點在於感測器背後(也許就在同一裝置內)的智慧處理;也就是將原始數據處理、整合成為可採取行動的依據。

從提供資訊和娛樂,到幫助我們視、聽、認知、反應周遭環境的裝置,科技正在逐漸深入我們的生活;此一轉變的核心之一,是擴展我們視聽和決策能力的感測器。

從汽車、家庭自動化、音訊、智慧型城市到機器人,感測是收集資訊、進行分析、做出恰當反應之情境感知裝置的第一步,包括慣性量測、微型麥克風和揚聲器、攝影機、雷達、LiDAR、在內的各種裝置,都在於提供構建智慧環境所需的資訊。

感測器本身只能生成原始數據,並不聰明。重點在於感測器背後(也許就在同一裝置內)的智慧處理;也就是將原始數據處理、整合成為可採取行動的依據。

車子發現前方有行人、或是左邊有另一部車輛正在快速接近…戴上VR頭戴式裝置時,當你手指向上、所看到的畫面就是直視前方(如下圖)…你在左邊的耳塞式耳機上輕敲兩下接通電話,或發出語音指令要耳機找出並切換到另一首歌…還有更多的應用場景,例如可穿戴eHealth裝置,以及可能會因為新冠病毒(COVID-19)疫情而催生的病患追蹤和疫調創新方案。所有這些功能都取決於將原始數據化為智慧。

 

 

在轉換的過程中需要權衡。我們可以將各種原始數據傳送到雲端或大型中央處理器,讓高效能的機器學習來處理這種轉換,但綜合考量功耗、頻寬、延遲和服務品質時,這個方法立即漏洞百出。比較好的方式應該是在鄰近感測器之處進行智慧轉換,最好還支援無線通訊──因為在許多應用中,無線技術是連結閘道器或雲端的下一步。

感測中樞

因為情境感知通常需要來自多個感測器的輸入資料,因此越來越需要一個智慧中樞來進行彙整。例如相機的視覺感測,可能有飛行時間(ToF)資料、結構光(也就是在場景上投影網格或光條來確認景深和表面資訊),還有雷達、LiDAR,以及透過陀螺儀、加速度計與磁力計進行的動作感測,或是由一個或多個麥克風收集的音訊資料。

智慧轉換需要針對個別感測器進行。舉例來說,例如麥克風的波束成形、回音消除,以及融合──也就是從運動感測器取得空間定位,最後再加上情境感知,因此系統能判斷你可能接近了你想要購買的物品;還有能讓機器人避開路徑中障礙物的同步定位和地圖繪製(simultaneous localization and mapping,SLAM)。

Business Wire 預測從2018年到2023年,感測器融合市場的複合年成長率將達19%,主動力來自於智慧型手機和可穿戴裝置應用需求。GM Insights預測的成長幅度相差無幾,但涵蓋範圍擴及汽車應用中的引擎控制與先進駕駛輔助系統(ADAS),還有醫療、軍事,以及包括機器人在內的工業應用。以區域市場來看,亞太地區受惠於消費性及汽車應用需求,被認為是成長速度最快的地區。

感測中樞的技術需求

感測器中樞處理器需要哪些功能才能支援各種廣泛的應用?首先是多種能夠平行處理多個包括支援語音、成像、推論與SLAM功能所需感測器數據的處理器。較簡單的感測器中樞可能應用於保全系統(影音)、運動攝影機、智慧型揚聲器和耳塞式耳機,需要非常省電的方案。中階的中樞處理器應用於無人機、VR/AR、家用機器人等裝置,可能需要支援浮點運算。高階的中樞處理器則需要用於機器人和AI的大容量神經網路以進行複雜的語言處理。

感測器中樞也需要有力的軟體支援。首先,應用程式必須能夠映射任何標準格式、訓練完成的網路,並最佳化所構建的硬體。其次,需要一個強大的軟體資料庫,支援語音拾取、自動回音消除、自適應雜訊消除、觸發詞/句和指令識別、電腦視覺、SLAM等等功能。

結論

將感測控制整合於一個共同的處理中樞,以支援鄰近感測器之處理、感測器融合及情境感知,是一個非常大的商機。認為這些繁重任務應該在雲端或大型資料中心進行處理的想法已經過時,不過這也不代表我們應該把所有智慧功能都推向邊緣。

要充分發揮感測融合與情境感知優勢,需要明智地「分配」智慧;而如果中樞處理器無法連結網路,就需要無線技術的支援;具備無線通訊選項的感測器中樞是達成此目標的合理方案。

 

本文原始中文譯稿由CEVA提供,Judith Cheng編輯校訂

 

發表評論