i.MX應用處理器支援邊緣執行機器學習

作者 : NXP Semiconductors

恩智浦半導體針對邊緣運算應用的i.MX 8M Plus異質應用處理器搭載專用NPU、獨立即時子系統、雙鏡頭影像訊號處理器以及高效能DSP與GPU…

恩智浦半導體(NXP Semiconductors)推出i.MX 8M Plus應用處理器,進一步擴展其EdgeVerse產品組合。這款恩智浦首個整合專用神經處理引擎(NPU)的i.MX系列處理器,能夠在工業和物聯網邊緣端執行先進機器學習推論。

i.MX 8M Plus整合可提供執行速度達2.3TOPS的高效能NPU與主頻高達2GHz的四核心Arm Cortex-A53子系統、主頻可達800MHz基於Cortex-M7的獨立即時子系統、運用於語音與自然語言處理的高效能800MHz音訊DSP、雙鏡頭影像訊號處理器(ISP)以及用於豐富圖像渲染的3DGPU。

透過整合高效能Cortex-A53核心與NPU,邊緣裝置將能夠在少量或無人為干預的情況下,支援機器學習和推論輸入,進而在本地端做出明智決策。i.MX 8M Plus的應用範圍涵蓋人與物體辨識,支援公共安全、工業機器視覺、機器人、手勢、情緒檢測與自然語言處理,進而以極快反應時間和高精確率,實現人與裝置間的無縫互動。

恩智浦i.MX 8M Plus採用先進的14nm LPC FinFET製程技術,可同時執行多個高度複雜的神經網路,如多物體識別、40,000多個英語單字的語音辨識與醫學影像。強大的NPU能夠處理Mobilenet v1,這是一種熱門的影像分類網路,分類速度每秒超過500個影像。

開發人員可將機器學習推論功能轉移至NPU,讓高效能的Cortex-A與Cortex-M核心、DSP和GPU執行其他系統級或用戶應用任務。視覺部分整合了雙ISP,並支援高動態範圍(HDR)和魚眼鏡頭校正。ISP支援兩個用於實現即時立體視覺的高解析度鏡頭或單個12MPixel解析度鏡頭。這些功能為監控、智慧零售應用、機器人視覺與居家健康監視器等即時影像處理應用提供支援。

為支援語音應用,i.MX 8M Plus整合高效能HiFi 4 DSP,透過對語音流進行預處理和後處理來增強自然語言處理能力。功能強大的Cortex-M7核心可用於執行即時響應系統,而應用處理器可執行複雜的非即時應用,透過關閉應用處理器,同時僅讓Cortex-M核心維持執行狀態以進行喚醒詞偵測,可降低整體系統級功耗。透過使用H.265或H.264 HD影音編碼器與解碼器(支援雲端串流媒體傳輸或本地儲存)壓縮多個影音輸入的系統,以及由3D/2D影像、支援Dolby Atmos與DTS:X的Immersiv3D沉浸式音訊解決方案支援的豐富用戶體驗,i.MX 8M Plus能夠擴展支援進階多媒體和影音處理能力。

i.MX 8M Plus能夠提高工業生產率與自動化程度,可檢驗、測量、準確識別物體並透過精確檢測機器操作異常情況實現對裝置的預測性維護。此外,透過整合精確的人臉辨識、語音/命令辨識和手勢辨識,工廠人機介面可以更直觀、更安全。i.MX 8M Plus支援工業4.0 IT/OT融合,將10Gigabit乙太網路與時效性網路(TSN)結合Arm Cortex M7即時處理功能,提供確定性有線網路連接和處理。

恩智浦預計將於2020年第一季開始向客戶提供i.MX 8M Plus應用處理器樣品。

發表評論