感測器無所不在 該採取什麼行動?

作者 : Moshe Sheier,Vice President of Marketing CEVA

我們擁有所有需要的原料,可打造一個由智慧感測技術所驅動,充滿未來感、近乎科幻小說般的世界。但要如何達成呢?

行動運算促成了激增的產品商機,相關產品包括智慧型手機、穿戴式裝置、聽戴式裝置、運動攝影機…等。感測技術將會在各種必須具備環境意識的應用領域中,進一步拓展商機。現今,透過視覺、雷達或光學雷達感測方式思考物體辨識和碰撞警示已是再尋常不過的事。透過超音波感測器偵測短距離接近風險、透過IMU進行移動和姿勢偵測、聲學式有害聲音的偵測、在運輸、機器人、家庭自動化、智慧城市、工廠與倉儲管理等許多方面的應用,例子真的多到舉不完。我們擁有所有需要的原料,可打造一個由智慧感測技術所驅動,充滿未來感、近乎科幻小說般的世界。但要如何達成呢?

 

(資料來源:CEVA)

 

從感測到移動

想像一個在機場中四處移動的機器人助理。它會協助旅客辦理登機報到、尋找登機門、取得航班資訊。這個機器人必須能夠在機場自由移動,不會撞到四面八方行走或跑動的人,或者是靜止不動或有時會移動的物體。這位助理應該知道如何在不斷變化的環境中聰明地導航移動,此外,針對某些可能發生的情況,它還必須能夠理解及回應自然語言的語音命令。

光學與近接感測器是自主移動能力的開端。感測器將資料匯入稱為SLAM的複雜演算法,針對移動的空間建立點地圖,並且持續不斷地改善該地圖。在光學效果較差的低光源環境下,採用航位推算方法也越見普遍。如此可從已知位置追蹤移動,並從車輪動作、加速儀和其他感測器繪製資訊。同時近接感測器也會提供資料,以避免撞到物體或是人。

以攝影機為基礎的SLAM需要具備高準確度的重型線性方程式解法,而向量DSP平台是最合適的選擇。超音波型近接感測必須先從雜訊抑制開始,才能在回波與其他雜波間確定最接近物體的位置,接著再進行範圍(與方向)計算。這類訊號處理非常適合純量DSP。

從語音到動作

旅客看到一個助理並召喚它過來:「嘿,Airbot!」。首先,助理必須辨識指令及指令來源。這個步驟涉及一些精密的音訊處理技術,特別是在像機場航廈的吵雜環境中。觸發指令辨識是你在任何智慧型揚聲器中都能找到的基本AI技術。機器人也可以透過波束成形(一種音訊「變焦」)技術來偵測語音指令來源的方向。此技術涉及更多的訊號處理,從多個麥克風在略微不同的時間識別到的指令中找到來源方向。

Airbot在旅客間穿梭、避開沿途的其他障礙物,在一段距離內停下來並詢問:「需要幫忙嗎?」它在螢幕上顯示了一系列它可回答的問題,而旅客說:「我想要辦理登機報到」。首先我們的機器人必須進行更多訊號處理,透過部分波束成形與部分回音消除技術來降低該音訊中的雜訊。接著它必須辨識指令。

自然語言處理(NLP)可在雲端中處理,但在機場網路的負載量很大,機器人需要快速回應才能提供讓使用者滿意的體驗。因此,NLP必須在本機進行處理,才能快速回應。它會要求旅客直接觀看螢幕並拍照,然後請旅客插入如護照身分頁面等附有照片的身分證件,然後它將這些影像加以比較以提高安全性,此步驟需要強大的可程式化類神經網路引擎支援。

剩下的登機報到步驟呢?這就要回到傳統的嵌入式處理。

整合

智慧感測裝置必須使用支援同時操控多個感測器的平台。此平台應可為前端訊號處理提供強大的純量DSP支援。影像型運算與SLAM的向量化支援。而類神經網路對語音和視覺AI的支援,同樣是向量化DSP,但針對類神經網路進行了特殊延伸。加上豐富的軟體編譯器和程式庫,提供各領域 SDK 中所需的基礎知識。

 

 

可以查看CEVA的 SensPro2感測器中樞 DSP。該DSP在已具備強大的視覺處理、音訊、SLAM 和AI背景的基礎上進行建構,可能正是你的感測平台所需要的產品。

 

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論