三大核心技術造就智慧保全新時代

2021-08-13
作者 顧正書,EE Times China

隨著近幾年AI的快速發展,人臉辨識、視訊結構化和大數據分析等技術不斷完善,原本用途單一的保全產品功能逐步走向多元化。同時,保全產業開始與交通、社區、港務等多領域融合,可謂保全產業已經進入一個全新的時代。

隨著近幾年人工智慧(AI)的快速發展,人臉辨識、視訊結構化和大數據分析等技術不斷完善,原本用途單一的保全產品功能逐步走向多元化。同時,保全產業開始與交通、社區、港務等多領域進行融合,保全的邊界越來越模糊,保全產業已經進入一個全新的泛安防時代。

據IDC Global DataSphere預測,2020全球視訊監控產生的資料約18.1PB (1PB=1024TB),佔同期物聯網(IoT)總數據量83.1%,構成了物聯網資料的主體。保全領域視訊攝影機的解析度越來越高,部署場景也越發廣泛,從而導致資料規模高速成長,這為傳輸頻寬及儲存帶來了很大的壓力,也提出了更高的要求。

然而在實際應用中,出於各種人力和技術條件的限制,這些資料的利用效率很低。由於視訊資料是非結構化資料,在缺乏以AI為代表的結構化手段時,視訊資料利用率非常低。基於AI的智慧保全系統能夠實現擷取、儲存和分析大量的監控視訊資料,並透過複雜的深度學習演算法來執行視訊分析,為應用領域帶來顯著的經濟效益和業務成長。

如果將AI直接部署到監控攝影機,AI可以對視訊資料進行結構化處理和分析,提取有用的資訊,從而啟動資料,提高保全效率。然而,在實施的過程中,存在諸多挑戰。一方面是應用場景碎片化,各行各業的AI需求不同,很難對演算法進行標準化。另一方面,將AI部署到前端攝影機,需要具備終端運算力的AI晶片,產業內可以提供這類晶片的廠商還不多。

智慧保全的「智慧」主要表現在哪些方面?

傳統的保全是解決「看得見」、「看得清」的問題,而智慧保全要解決「看得懂」的問題。以往靠人工方式去查看視訊,現在智慧保全會把「車水馬龍」型的有用資訊記錄下來,而把「風吹草動」類的無用資訊過濾掉。例如,針對在電梯裡的火災辨識、社區的高空拋物監控,依靠人力監控難免有疏忽或延遲,但是AI具有「關注車水馬龍,忽略風吹草動」的能力,可以馬上辨識並預警公共安全風險,提高安全管理效率。

保全「智慧化」就是將原有依靠人來分析、查看的資料透過AI演算法實現自動辨識分析,將海量資料轉化為經分析結果的有效資訊。以視訊分析為例,智慧保全系統利用對視訊影像的自動分析和處理,可以辨識不同的人、物體、環境狀態,發現監控畫面中的異常情況,並即時警報和回饋資訊。對目前的視訊監控系統實現智慧化升級,提升對資料的有效利用,這是其智慧化的最大價值。從更廣的層面上來說,智慧保全使已有的視訊監控資料產生效益,發揮資料的潛力,並且在一定程度上替代和減少了人力作業。

智慧保全的成像性能不斷提升,例如服務於大場景中人臉及車牌等關鍵資訊辨識的智慧化功能時,攝影鏡頭CMOS影像感測器(CIS)解析度的提升必不可少,現已從原先的幾十萬畫素提升到當下主流的幾百萬畫素,解析度也一再提高至4K乃至8K,為的就是看得更清楚與更全面。而低照度成像、高動態範圍、高溫適用性,以及色彩呈現力等性能的精進也將進一步為智慧化升級添翼。

從應用層面看,邊緣運算與5G技術的加持使保全產業正逐步向包括智慧交通,以及智慧港務等智慧化應用場景延展與滲透,無論是本地還是雲端處理資料,都讓保全攝影機從原來的僅僅「看得見」逐步向高動態範圍、低功耗等性能方向延展。同時,隨著人臉辨識及車牌辨識等大數據辨識應用的出現,保全將從原來的「事後發現」逐漸進化到能夠進行「預判、預警」等功能,這也是智慧化的一個重要表現。

三大硬體技術實現智慧保全

智慧保全系統主要有三個關鍵部分組成:智慧感測、視覺/視訊處理、AI運算。由於軟體和演算法與特定應用場景有關,本文只討論硬體部分。

 

智慧安防系統流程圖。

(來源:Yole Développement)

 

攝影鏡頭的CIS主要完成智慧感測功能,有些廠商開始為其CIS晶片增加本地處理和運算能力,讓攝影鏡頭更為智慧。這一細分領域的廠商主要有中國豪威科技(OmniVision Technologies)、安森美半導體(ON Semiconductor)和索尼(Sony)等,中國新創公司思特威科技(SmartSens Technology)在智慧保全領域也開始嶄露頭角。

感測器與邊緣AI的融合讓攝影鏡頭更智慧

伴隨AI的不斷普及,保全監控產業對CIS成像的清晰度,以及場景覆蓋率的要求將會持續提升,隨之驅動了從720P~1,080P-2K/4K的解析度升級。此外,影像感測器的暗光成像、產品性能、色彩表現力,以及近紅外線(NIR)成像性能也為泛保全化的落地發展助力。

思特威副總經理歐陽堅認為,保全場景除需要CIS提供更高畫質的影像之外,還需要應對各種複雜光線下的挑戰,除了在光照良好的白天需要提供細節清晰、色彩逼真的影像資訊外,晨昏及夜間等光線複雜的應用場景則對CIS夜視性能的要求更為嚴苛。為此,思特威開發的SFCPixel技術可有效提升CIS的感光度,從而達到更好的夜視效果。

此外產品性能與近紅外線成像性能也是智慧保全時代CIS的發展重點。除了保全產品的升級演進外,保全CIS的畫素尺寸也逐漸提升至2.0μm以實現更好的感光性能,而對於超低照環境中的成像,思特威近期推出了第二代近紅外線感度NIR+技術,相較第一代技術在感度方面顯著提升,在超低照度850/940nm紅外線光補光下可達到可見光下的清晰度,即使在微弱星光場景下也能清晰獲取4K高畫質影像畫面。

以前影像感測器主要為人眼服務,而在AI進一步發展的現階段,影像感測器的服務對象逐漸轉變為機器與智慧後端平台,其成像要求也從看得見轉變為快速捕捉(高影格率)、無形變(全域快門)和非可見光下成像(NIR+技術)來提供更加可靠精細的影像基礎。思特威的SmartGS技術將BSI畫素設計製程與全域快門影像感測器設計巧妙結合,可提供訊噪比(SNR)更佳、靈敏度更高與動態範圍更大的成像性能,透過全域快門的曝光方式,保障影像不會因物體高速運動產生失真,可進一步為智慧交通系統(ITS)、人臉檢測,以及生物辨識等需要邊緣AI運算的新興應用提供更優質的影像資訊。

為給後續影像感測器的智慧化升級打下扎實的基礎,思特威還開發了整合AI演算法的「AI智慧感測器平台」,該平台可以在影像感測器上整合邊緣AI運算,能有效地提高關鍵區域(如人臉或車牌)的解析度,降低延遲,並擁有高影格率及超低功耗,可為人臉辨識、先進駕駛輔助系統(ADAS)、無人駕駛、機器人等先進的AI應用解決因影格率不夠高、解析度不足而導致的回應慢、延遲高及辨識率低等問題,提升整個AI系統的能效比。

「資料就地處理」需要更智慧的視覺/視訊處理器

從視覺AI分析的過程來看,對於需要即時/近即時處理,或者涉及資料隱私的場景往往在智慧邊緣平台進行AI推理和辨識。需要傳輸至雲端或伺服器進行集中處理和運算的資料一般有兩類:監管或者其他法規要求;需要利用資料進行重複訓練,演進模型。以人臉辨識為例,人臉檢測和抓拍是在本地透過裝置端即時進行,而對抓拍到的人臉進行辨識的工作,可能涉及十萬或以上的資料庫比對,則可交給雲端,利用更大的運算力去快速完成運算。

「資料就地處理」的需求讓邊緣運算成為成長最為迅速的市場。除了雲端和前端AI晶片市場,邊緣端已成為很多AI晶片新創企業的突破點。目前市場上的邊緣運算大多針對的是4~16路的視訊分析處理(車路協同、加油站等為典型應用場景),或支援200路左右的小型資料中心(採油廠、變電站等為典型應用場景)。在這些場景中,用戶的需求明確,市場對低延遲、資料隱私,以及低成本和超節能的可用性日益關注。對於工業、車路協同這些有大量資料並要求低延遲回應的應用場景,晶片的運算力性價比成為核心的考量因素。

中國億智電子安防產品副總裁魏唯認為,影像/視覺處理器和視訊處理器晶片要實現「資料就地處理」,就需要各模組之間的協同運作,有效資料首先要經過影像訊號處理器(ISP)獲得清晰的影像資料,再讓神經網路處理器(NPU)對資料進行即時運算。終端運算力1.5T可以滿足同時執行3~5種演算法的需求,例如同時進行人臉檢測、辨識、追蹤。要在終端部署AI運算力,在性能上需要SoC有很強的整合能力,包括ISP、NPU、視訊編解碼等模組。

億智針對保全應用開發的AI SoC晶片SV826和SV823主要鎖定視訊編解碼AI攝影機產品,採用智慧H.265+編碼技術,支援最高4K超高畫質視訊錄影;整合專業保全等級的ISP,支援2~3影格寬動態融合和自我調整降噪,在逆光和低照度環境下表現出色。此外,這兩款晶片還搭載了億智第二代自研NPU,具有1.5T/0.8T運算力,可高效支援人臉辨識/檢測、人形辨識、車牌辨識、車型辨識、視訊結構化,以及智慧行為分析等智慧應用場景。

相較傳統的影像/視訊處理器,AI視覺SoC晶片整合了NPU,這是SoC中的AI運算單元。由於是專門為AI加速而設計的處理單元,在運算的速度和準確率都會有大幅的提升。據Yole Développement預測,到2025年保全晶片市場規模將超過40億美元,其中三分之二是具有AI功能的晶片。

最近Ambarella針對保全市場發佈了兩款AI視覺晶片:CV5S和CV52S。這兩款SoC基於CVflow架構,採用5nm製程,擁有超低功耗,可同時支援4K編碼和強大的AI處理。CV5S適合覆蓋更大範圍、更遠距離的保全攝影機系統應用,如城市戶外環境或大型建築,這裡場景需要多個視覺感測器進行360度全景監控。而CV52S則是為具有強大AI性能的單目保全攝影機而設計,這類攝影機需要更清晰辨識場景中的人或物體,包括遠距離辨識人臉和車牌號碼,比如智慧交通攝影機。

 

Ambarella CV5S模組框架圖。

(來源:Ambarella)

 

由清華大學可重構運算研究團隊創辦的北京清微智慧開發的可重構運算晶片TX510,可以依據應用和演算法重構執行運算的硬體資源,具有依需即時重構、高能效、低功耗等特點。清微智慧創始人兼CEO王博大致介紹了基於TX510的人臉辨識系統產品流程。

首先,紅外線感測器自動感應人體,啟動TX510系統。然後,開啟3D影像採集、近紅外線影像採集和可見光影像採集(進入ISP引擎)。接著進行人臉檢測、活體聯合檢測,最後完成人臉辨識和特徵比對。

 

基於TX510的人臉辨識系統產品流程。

(來源:清微智慧)

 

可重構晶片應用於影像訊號處理有以下優勢:快速在晶片上實現最新的影像演算法、更加強大的影像處理性能、為客戶提供自己客製ISP演算法的可能,並可延長產品的生命週期。

在產品形態上,添加AI能力的邊緣運算載體包括智慧保全攝影鏡頭、智慧閘道器、盒子、微型資料中心等。這些裝置和應用對於多種連接和資料移動性、即時決策、當地語系化運算能力、高效儲存這些功能和技術指標都有比較高的要求。

智慧保全AI運算需要提高性價比

AI視覺晶片的工作是專用運算,相比於通用運算晶片如CPU/GPU,可以客製化執行AI領域的視覺分析應用,從而提供更高的運算效率,用更低的成本、更低的功耗提供更高的運算性能。AI運算的優勢在於:在恆定的運算力需求下,例如資料中心內的100台AI伺服器,可以更低成本、更好的運算性能、更低功耗滿足AI運算力需求,所需的晶片數量越少或者晶片成本更低,從而大幅降低AI應用實踐所需的總成本。

深圳鯤雲科技合夥人暨COO王少軍認為,提升晶片利用率是提供高運算力性價比最根本的方式,在這方面鯤雲科技基於自主研發的客製資料流程架構,打破傳統底層架構下的運算力瓶頸,在晶片利用率上實現了10倍以上的提升。

 

鯤雲AI視訊分析結構圖。

(來源:鯤雲科技)

 

以一個具體場景為例,在一個使用100台AI伺服器來處理25,000路視訊分析的資料中心應用中,如果採用AI專用且更高運算力性價比的資料流程AI晶片(如鯤雲CAISA晶片),能在實測運算力上高出4.12倍的性能,那麼對應地每台AI伺服器的處理能力也提升了4.12倍,也就是說處理的視訊路數更多了。同樣一個應用達到同樣的性能,從原來需要100台AI伺服器減少到只需要25台AI伺服器,這個4.12倍的性能提升意味著對於資料中心有70%以上的成本降低,這是AI視覺晶片為保全等視訊處理應用帶來的價值。

那麼,在為保全監控應用選擇AI晶片時,應考慮哪些因素?

1.運算精準度:AI訓練基本都是FP32的模型,在推理階段,客戶越來越願意使用低精準度如INT8,應考慮特別在深度學習模型中精準度損失和算力、記憶體頻寬使用、模型參數儲存之間的平衡。

2.實測性能:理論峰值運算力需要結合晶片利用率來判斷,實測運算力才是真正發揮到應用上的性能。例如以指令集晶片和資料流程晶片的比較來看,資料流程晶片採用運算流和資料流程重疊運作方式消除空閒運算單元,突破指令集技術對於晶片算力的限制,在晶片利用率上提升了10倍。

3.視訊解碼和影像解碼能力:解碼能力的強弱也是決定分析視訊路數、影像張數的吞吐能力的重要決定因素。

4.運算力和工具鏈的軟體易用性:需要關注AI晶片是否可以完整支援Caffe、Tensorflow、PyTorch等AI框架,如典型CNN模型中的常見運算元,甚至是自研運算元,需要晶片配套的端到端編譯工具鏈。

5.運算力演算法一體化:在實踐應用的過程中,所有的深度學習演算法最終都需要附著在晶片上,完成最後部署。AI晶片除了自身性能,更需要適配場景。針對保全領域不同的應用場景,運算力演算法一體化的端到端解決方案才真正實現軟硬體的深度融合。

智慧保全值得關注的未來新興技術及應用

保全作為一個大的領域,除了人臉辨識外,在針對人、車、物及行為的辨識領域也湧現出了很多的應用需求。智慧保全在向垂直領域不斷拓展,基於視訊影像應用的智慧能源、智慧工地、智慧園區、智慧港口等將迎來高速發展的時期。除了傳統的交通、公安、社區等領域,視訊監控未來在一些新興領域會有更大發揮。例如,工業中的產品缺陷監測、安規測試;農業中的農作物病害檢測、農產品無損檢測等;線下零售產業的櫃檯監控等。而隨著智慧保全應用的拓展,AI演算法方案將不斷演進和推陳出新,軟硬體一體化的整體方案將會成為產業的剛需。

智慧保全為保全監控攝影機廣泛覆蓋及深入實踐營造了良好的成長環境。未來3~5年,保全監控將朝著「智慧、精確、高效」的方向發展,而智慧保全也將不僅限於保全產業,將會衍生出諸如人臉辨識、物品檢測、車牌辨識、智慧卡口、智慧家居、智慧城市,以及智慧交通系統等更多的泛保全細分領域。而暗光成像性能、近紅外線成像性能、色彩表現力、低功耗,以及高溫適用性等成像性能也將隨著視訊影像需求標準的提升而發展。

魏唯認為,智慧化的前端IPC攝影機在未來3~5年內將替代現有的IPC,那時將不再有不具備AI功能的IPC攝影機,這需要具終端運算力的AI SoC晶片去推動實現。目前,搭載億智電子AI晶片的攝影機已經可以實現人臉人形辨識、越界檢測與預警(如翻牆辨識)、人員闖入檢測與預警(如人員進入配電箱等危險區域的檢測與預警)、客流辨識等智慧應用。已經安裝了IPC攝影機的位置都有監控需求,未來可以挖掘更多的應用場景。

在技術方面,隨著NPU等AI加速器技術和感測器技術的發展,以紅外線熱成像技術的應用為例,這類不可見光同樣蘊含著很多對人類有用的資訊,同時也需要NPU來支援相關演算法的運算處理,才能真正解決實際問題。熱成像設備收集到平面的溫度資料,而利用AI演算法,可以運算得到三維立體的資料。這樣一來,不使用可見光形成的影像,僅利用處理過的資料資訊,進行老人和小孩看護,既能解決用戶隱私問題,又能達到更有效的監護效果。在未來,對終端運算力的需求會越來越大。

本文同步刊登於《電子工程專輯》雜誌2021年8月號

 

 

 

 

活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

發表評論

訂閱EETT電子報