如今，在邊緣小型設備上執行高效人工智慧(AI)的需求正在迅速成長。傳統上，邊緣設備需將海量資料與雲端進行收發互動。在智慧型手機和物聯網(IoT)裝置中，未來的邊緣人工智慧必須運作在使用更小電池供電的微處理器和微控制器(MCU)上。這樣可以減少與雲端的往返通訊，還能夠解決延遲問題。

可行的解決方案是在邊緣利用TinyML技術。這裡，可能讓讀者驚訝的是類比在該技術中所扮演的角色。

圖1：顯示邊緣側機器學習的使用，以及廣泛的TinyML生態系統即服務(ecosystem-as-a-service)。

(來源：MDPI)

人工智慧涉及使用機器學習(ML)和深度學習(DL)等技術從資料中獲取知識的裝置和系統。TinyML涉及將複雜的人工智慧演算法建構到裝置或感測器的硬體中。透過這種整合，因為省去了與雲端的互動，資料分析所需的能量更少。另外，由於沒有資料傳輸，外部攻擊和安全性漏洞也減少了。

採用TinyML模型時，只有模型參數才被發送到雲端進行處理。第一次學習在伺服器上進行，而更具體的學習則在本地完成。

TinyML或全稱「微型機器學習」(Tiny machine learning)或包括能夠完成裝置感測器資料分析的硬體、演算法和軟體。功耗極低(毫瓦級或更低)，並支援常開機場景和電池供電裝置。

現在，看看如何為邊緣TinyML技術添加神經形態類比訊號處理(NASP)。

神經形態類比訊號處理

神經形態運算是指系統單元在硬體和軟體上類比人腦和神經系統，從而實現更快的運算速度和更低的功耗。就像大腦一樣，可平行處理許多操作。

2022年4月，POLYN發佈了NeuroSense，這是一種專有的神經形態晶片。NASP元件被設計作為即時邊緣感測器訊號處理器，POLYN的NASP晶片利用類比電路，其中神經元利用運算放大器來實現，而神經軸突則由薄膜電阻器來實現。POLYN聲稱，這是業界首個神經形態類比TinyML晶片，可直接緊貼感測器使用，可省掉類比數位轉換器(ADC)。

這裡，TinyML使用了一種稱為嵌入式的技術，該技術允許人工智慧運算直接在晶片上執行，而不是在雲端或遠端伺服器上執行。該嵌入指的是將訓練好的自動編碼器神經網路建構在深層和隱層(hidden layer)中。它們包含關於感測器輸入資料及其用於感測器資料預處理的密集資訊；將雜亂的原始資料流程減少了1,000倍，使其適用於工業物聯網(IIoT)用途。因此，NASP晶片是解決功耗和運算延遲問題的TinyML的具體實現。

圖2：利用感測器資料預處理中的嵌入，將雜訊原始資料流程減少了1,000倍，使其適合工業物聯網用途。

(來源：POLYN)

值得注意的是，在這種環境下的數位實現，並不會將海量平行資料處理至最適於神經網路運算之所需。數位神經網路模型具有類比神經元，它在數文書處理器核心中使用標準的逐次連續數學運算。然而，傳統處理器上的數位神經網路效率低下，儘管在過去二十年中，數位神經網路的實現取得了重大進展，但功耗問題一直沒有得到解決。

圖3：在數位神經網路實現中，功耗仍然是一個問題。

(來源：POLYN)

透過建構人工神經系統、實現神經元和突觸(synaps)，來傳遞類比電路上的電訊號，使這種神經形態類比運算成功模擬了大腦的功能和效率。這就是為什麼類比神經形態晶片非常適合神經網路工作的原因。

這裡，NASP方法簡化了晶片佈局。它結合了固定權重方法和固定晶片結構，類似人類視覺神經和視網膜，以及負責對接收到的嵌入內容進行進一步分類的靈活功能。在混合概念中(圖4)，固定神經網路的組合負責模式檢測，並與用於模式解釋的靈活演算法相結合。

圖4：使用NASP，大多數負責原始資料預處理的神經網路層在訓練階段後保持不變，只有在接收新資料和重新訓練時方才更新。

(來源：POLYN)

NASP混合核心概念的基本部分包括一個具有超低功耗和低延遲、並生成嵌入的固定神經形態模擬核心，以及一個用於最終分類的非常靈活的數位核心。為解決功耗和運算延遲難題，該解決方案分為固定和靈活兩部分，固定部分是類比，只有基於嵌入的相對少量輸出才被發送到靈活數位文書處理部分進行分析。

神經形態應用擴展

POLYN Technology和Edge Impulse的聯手利用NASP，使得設計工程師能夠開發用於感測器等級一維(1D)訊號處理的專用應用晶片，目標是加速機器學習在邊緣的利用。

圖5：POLYN的NASP模仿人腦感知和學習的方式。

(來源：POLYN)

Edge Impulse推出了其機器學習軟體，實現了更智慧的邊緣產品，並提供了強大的自動化能力，且程式碼量極小。該公司聲稱，其解決方案使創建重要的資料集，以及快速開發高階機器學習演算法和產業特定解決方案變得更容易，只需幾周，而不是通常的幾年。

POLYN和Edge Impulse最初專注於聽力設備，在任意環境中利用POLYN的語音檢測和語音提取，功耗可低至150μW，可用於各種助聽器和助聽產品的設計、還有耳塞和包括穿戴式裝置在內的其他微型設備。

接下來還有工業物聯網、機器人、自動視訊安全、語音助手、自動校正、攝影機影像處理、自動駕駛、遠端醫療、工業4.0和精準農業中的廣泛應用案例。

(參考原文：Neuromorphic analog signal processor aids TinyML，by Carolyn Mathas)

本文同步刊登於《電子工程專輯》雜誌2023年2月號

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名