以超低功耗ML技術實現高效率嵌入式視覺系統

作者 : Ananda Roy,Synaptics資深產品經理

為了在更多應用案例中真正發揮智慧視覺的潛力,開發人員需要更節能、更靈活的嵌入式解決方案,且要能使用電池供電,易於安裝和維護...

機器學習演算法開闢了全新的可能性,可以在產品中嵌入視覺功能,讓使家庭、工作空間以及介於兩者之間的地方更安全、更有效率。為了在更多應用案例中真正發揮智慧視覺的潛力,開發人員需要更節能、更靈活的嵌入式解決方案,這些解決方案要求使用電池供電,易於安裝和維護,同時能夠提供對我們想要偵測和監控的事物進行有效率、智慧化感測所要求的視覺性能。機器學習建模和處理技術的演進,也是智慧攝影機廣泛普及的關鍵。

成本合理的遠端視覺監控在過去意味著紅外線行動偵測器,便宜、自主,卻不一定有效。筆者有個朋友最近想用一組連網攝影機監控後院,使用紅外線動作偵測喚醒系統,然後將視訊發送給一個應用程式。

問題是,他後院的動作偵測系統會偵測一切事物,從鄰居家的松鼠到被微風吹動的風鈴…他被大量視訊片段搞到疲憊不堪,然後理解為何會忽略掉很多鏡頭——包括某天真的有一個竊賊從後院闖入他家。

其替代方案可能是將視訊饋送到一個控制室,有專人盯著螢幕注意是否有重大事件發生;這種方法提供了更多的保護,但費用和能源消耗也會高出許多。因此,需要介於兩者之間的解決方案:便宜、電池供電,且比簡單的動作偵測更具辨別力。理想情況下,該系統要具備足夠的嵌入式智慧,能首先將事件歸類為「真實事件」,然後喚醒功能更強大的攝影機,對事件進行記錄並將高解析視訊串流,然後向應用程式發送通知。

今日,機器學習技術的巨大進步,大幅度改善了無人值守的視訊分析成果。配備高性能深度學習推論加速器晶片或與雲端資料中心寬頻連線的高解析度攝影機,可以顯著增強和改善傳統的安全和監控方法。

事實上,這樣的深度學習系統已經展示了非凡的能力:透過臉部識別、手勢詮釋——例如偵測商店行竊,甚至透過情緒推估來偵測商店行竊的企圖。或許這些能力已經變得令人刮目相看了。但這些系統仍然很昂貴,還會需要外部電源和寬頻連線,而且由於它們的能力如此之強,甚至會引發安全和隱私問題,從而可能限制其部署或衍生出法規障礙。

那麼在另一方面,那種寒酸的紅外線動作感測器怎麼樣呢?仍然有許多應用只需偵測是否有人存在就夠了,不用識別其身份或推估他們的心理特徵。但其中許多應用需要外部電源,且只能提供有限的連結回傳網路;也有許多要求非常低的成本…這些怎麼辦?

如今,超低功耗機器學習加速技術方面取得的最新進展,已經可以回答以上問題。

可能受益的應用類型

為了在實際使用情境中了解相關突破,讓我們仔細看看一些應用案例。例如,在許多保全應用中,重要的是要知道所監控的區域是否有人在場(如圖1);這可能是為了偵測闖入者,或是確保沒有人靠近危險設備,也或者只是要開啟照明以避免有人在黑暗的房間裡絆倒,並不真的關心那個人是誰,也不想像上述的後院監控案例,誤報松鼠、管狀鈴鐺等東西。

 

Synaptics embedded vision - conference_room

圖1:低功耗視覺解決方案可實現會議室佔用管理。

(來源:Synaptics)

 

事實證明,這對機器學習來說是一個相當好的應用──更精確地說,是對於一個很簡單的機器學習模型來說。在這種情況下,模型實際上是一組資料和指令,透過執行訓練過程中的大量資料而建立;機器學習系統使用這些資料和指令來形成推理——像是影像中確實有人的推論,或者是影像中沒有人、但是有家裡一隻黃金獵犬的推論。

新冠病毒疫情大流行創造了另一類應用,即社交距離監控;遺憾的是,這種威脅可能會伴隨我們相當長一段時間。非常重要的是,控制人員進入密閉空間,以確保裡面的人數不超過空間容量限制(圖2)。要做到這一點,最好的方法是在門口沒有人工看守的情況下,使用一個可以在人員進出時統計人數的系統。

 

Synaptics embedded vision - stadium_overhead

圖2:不強制個人辨識或身份識別的人數統計系統,可應用於體育場和活動場所的排隊管理,並能保護隱私

(來源:Synaptics)

 

這只是人員偵測的另一種用途;這種系統的一個附加功能,是偵測有問題的人是否戴著口罩。對於經過訓練的機器學習模型來說,這同樣是一項相對簡單的任務。

事實證明,有一個與此密切相關的、完全不同的應用領域。有一些企業組織非常關注他們在辦公空間上的花費,並會根據空間的使用方式來決定如何最佳化空間利用,當一家公司考量使用更小(也更便宜)、通常是共享工作空間時尤其如此。

但無法衡量的東西也無法最佳化,突然會冒出來許多新的問題:有人用這個走道嗎?茶水間什麼時候人最多?有多少個共享辦公桌可以用?三個會議室都被佔用的情況多久發生一次?這類資料有助於在不降低生產力的情況下,將辦公室支出縮減至最小。需要重申的是,這並不需要識別人員身份或瞭解他們在做什麼,只要能偵測到其存在。

讓我們看一下現今大多數公司所考慮的實際典型情況:一家公司在美國紐約市曼哈頓或加州舊金山市中心等昂貴地段的大樓高樓層設置辦公室,有40個小隔間座位和5間會議室。根據來自架高攝影機的人員偵測/計數資料,小隔間座位有人的時間佔據整個工作週至少一部分,而有3間會議室的使用率比其他兩個多很多。

現在這家公司要擴大規模,需要再聘用20個人,就可以分析小隔間和會議室的實際使用情況來做出安排,而非支付高額租金在同一棟大樓租用另一層樓擴充辦公空間。其解決方案可以是把一個不用的會議室改成額外的20個小隔間,或者提出一種靈活的混合模式,在人們需要時才為他們提供工作空間,最大化利用現有小隔間。這將大幅度節省營運成本支出,並且可以隨著容量和勞動力習慣的改變而調整。

偵測特定屬性

這帶來了另一類應用:法規遵循(compliance)檢查。機器學習系統可以被訓練來偵測人的外觀屬性,例如是否讓佩戴的識別證明顯可見?是否佩戴了安全帽或口罩?這還有某人是否將點燃的香煙帶入了有易爆氣體的房間?

經驗證明,比起舊的視覺處理軟體演算法,機器學習模型可以更妥善執行這類偵測任務。機器學習模型也可以比人工監視更準確、可靠,特別是需要長時間持續關注的案例。當任務只是偵測——並非識別個人身份、詮釋手勢,或其他需要根據大量細節進行細微推論的任務——可以使用小巧的模型。

如果模型尺寸小巧,而且視訊資料是以中等的速率、不是高達60Hz的速率導入,例如逐行掃描UHD,所需的處理能力就不需要太高。需要的可能是超過一個典型微控制器晶片所能提供的,但遠低於針對高性能運算設計的推論加速器,或是高耗電量的GPU。

這將成為近年來針對超低功耗運算開發的技術——包括記憶體、控制器和訊號處理器等──之理想應用;這些技術可以實現一種能以夠快速度完成視覺偵測任務、功耗也夠低的機器學習推論加速器,適用無人值守的電池供電運作。

適中的速度還會帶來額外的好處。這種裝置有限的速度和記憶體容量,使其幾乎不可能將晶片用於未經授權的任務,例如臉部識別。此一事實可以大幅減輕在對於隱私保護法規特別敏感區域進行系統部署的法律責任負擔。

解決方案範例

Synaptics的Katana KA 10000 SoC,就是一種上述的超低功耗機器學習加速器解決方案,該晶片整合了一組處理器,包括一個Arm CPU、多個DSP核心和一個客製化神經網路加速器,可為一系列不同類型的中等規模機器學習模型,提供完整的推論加速平台。

到目前為止,這種描述同樣適合高性能運算應用的AI加速晶片。但是,當終極目標是實現長達數月的電池壽命,而非每秒數十次Giga等級運作時,從一開始就必須採用不同的設計方法。

這意味著要從針對低功耗最佳化、而非最高速度的半導體製程技術著手,也意味著設計出的電路只能消耗足夠完成手頭任務的功率,並且在不需要時關閉;還意味著需要選擇合適的處理器架構,例如Arm Cortex-M33處理器核心、DSP核心和專門的神經處理單元,能夠以盡可能最少的電池電量,透過協作完成既定的推理任務,而非著重於盡可能降低延遲。還意味著為攝影機和麥克風提供晶片上低功耗記憶體和週邊介面。

對於將在現場使用、需要處理敏感個資的SoC來說,安全性也是首要考慮的問題。金鑰的安全儲存、安全的開機與程式碼更新,還有硬體輔助加密,都是必須在硬體層級解決的問題。

能期待怎樣的實踐結果?

這種專注於超低功耗設計的方案是否成功?對此Synaptics表示,KA10000在連續處理視訊並每秒產生10次推論的情況下,使用一顆電池可以達到近三年時間的運作時間。

影像偵測性能和超低功耗的結合,為廉價、無人值守和不須綁定的智慧攝影機開闢了新的應用領域。但從歷史上看,視訊推理系統的編程工作複雜到令人沮喪——因此產業界才出現一種所謂的AI專家副業。如果使用神經加速器SoC的第一步,是得聘請一組AI專家和資料科學家,大概很少有應用能負擔得起。

在這個領域,得力的SoC需要得力的開發環境。因此Synaptics與Eta Compute合作為KA 10000提供了TENSAI Flow開發平台。該平台包括一個可在KA 10000運算系統上最佳化實現模型的編譯器;用於人員偵測和工業安全等任務,經過預先設計、訓練驗證的機器學習模型;以及構成系統的中介軟體和裝置驅動程式。

想要自己開發模型的使用者可以在TENSAI平台使用TensorFlow,但是模型開發任務程序相當複雜——得透資料收集、資料過濾生成最相關的資料集,並使用該資料集訓練神經網路模型、最佳化該模型以適應超低功耗SoC的記憶體限制,然後透過編程將模型導入可執行的二進位韌體檔案中。

對於非專業軟體開發者來說,這些任務令人卻步,其過程可能需要6到9個月——如果出現任何問題就要花費更長時間——因此邊緣AI裝置的部署可能會是一項耗時的工作,從而讓產品開發時間表、預算甚至上市時程置於風險之中。

取得成功有賴一個由硬體、軟體和IP供應商組成的協作生態系統。例如Synaptics與像是Edge Impulse這樣的機器學習作業(MLOps)公司合作,有助於加快這個過程。將Synaptics的Katana平台與Edge Impulse環境結合,使用者可以在幾天內打造出模型的原型,並在幾個月內建立生產模型。這意味著降低風險,以及快速部署具差異化、超低功耗的邊緣AI裝置。

對於以低成本全自動攝影機來因應具效率、特定應用案例機器學習的需求,晶片產業首次做出了回應。目前市面上的解決方案能以極具吸引力的成本和性能,提供非專家也能使用的開發環境,搭配完整的神經網路強化SoC。這為低功耗人員偵測和其他視覺偵測方案開拓了更大的市場,並將以多種方式改善人們的生活。

本文同步刊登於《電子工程專輯》雜誌2022年5月號

責編:Judith Cheng

(參考原文:How to deliver ultra-low power ML for more effective embedded vision,By Ananda Roy;原文刊登於EE Times出版集團ASPENCORE旗下Embedded網站)

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論