讓機器聽得懂
2021-04-16
作者
Sunny Bains，EE Times專欄作者
蘇黎世神經科學研究所(INI-Zurich)的研究團隊致力於開發低延遲、低功率的語音檢測感測器。在此感測器的核心是一個生物模擬的矽耳蝸，功耗僅幾微瓦(µW)，可望為系統設計人員在設計時帶來更具電源效率的選擇…
隨著業界朝向更加無處不在、常時啟動的感測和運算方向發展，功率變得越來越重要。最佳寫照就是放在辦公桌上、口袋裡，以及散佈家中各處的聲控裝置。就像「關鍵詞檢索」(keyword spotting)，正成為目前各種神經形態技術的目標之一。
矽耳蝸
2020年的Misha Mahowald神經形態工程獎(Neuromorphic Engineering Prize)得主是蘇黎世神經科學研究所(INI-Zurich)教授Shih-Chii Liu及其團隊，他們一直致力於研究低延遲、低功率的語音檢測感測器。Shi-Chii Liu及其團隊開發的動態音訊感測器回應了這一市場需求。在其感測器的核心是一個生物模擬的矽耳蝸(silicon cochlea)。首先，它利用一組類比帶通濾波器，將輸入的聲音過濾至各個頻道，並在輸出側對其進行半波整流。這組電路模擬耳朵中毛細胞的功能。
圖1：A. 在常見的音訊系統中，聲音首先透過類比數位轉換器(ADC)轉換成數位訊號，然後使用數位快速傅立葉轉換(FFT)和帶通濾波(BPF)提取訊號特徵。這些訊號由數位訊號處理器(DSP)執行語音活動檢測(VAD)或自動語音辨識演算法進行處理。B. 在INI-Zurich的動態音訊感測器中，接收訊號作為類比音訊頻帶，其特徵和變化被平行編碼成為一系列的非同步突波訊號(事件)後，再進行處理。
這一過程類似於生物學中，讓不同的通道為大腦的處理做好準備。在人耳中，神經節細胞將訊號快速編碼為一串化學離子；在矽耳蝸中，則被轉換成電突波訊號。這一步可以透過使用典型的IF神經元模型或非同步增量調變器(ADM)來完成：ADM將訊號與兩個閾值進行比較，並在訊號超過閾值時發送事件——相當於訊號特徵提取器。由於忽略了不變的訊號，從而減少了傳遞到下一級的冗餘資訊。
從功率的角度來看，在沒有任何活動時，矽耳蝸幾乎不會消耗任何電量，隨著活動的增加，突波訊號的數量也隨之增加。對於一直在傾聽但很少進行處理的應用而言，這是一個巨大的優勢；而當應用一直需要對相關內容進行解碼時，則沒有明顯的功耗優勢。
然而，由於這種音訊感測器的功耗只有幾微瓦(µW)，可望為系統設計人員在設計時帶來更有價值的選擇，以便提高電源效率。此外，由於該音訊感測器是在連續時間內運作，突波訊號之間的距離可近可遠幾乎不受限，因此還支援非常高的動態範圍。
語音辨識
這項工作的關鍵是證明矽耳蝸的有用性，具體而言，就是由矽耳蝸產生的事件串流可以用於語音活動檢測(關鍵字辨識的第一階段)等實際應用中。Liu和她的團隊成功地做到了這一點，他們使用事件輸出來創建2D資料架構，突波訊號到達的長條圖在5ms的架構上按頻率排列。這即是耳蝸譜圖(cochleagram)，可在神經網路讀取並解碼其含義。
「IEEE ISSCC社群對於在感測器上使用深度網路非常感興趣，由於音訊邊緣運算正在崛起，在感測器上使用深度網路也適逢其時。」Liu說：「現在已經有很多利用低功耗ASIC進行關鍵字檢索的論文了，但這些論文都採用類似頻譜圖的一般功能。我們的一個目標是要證明混合解決方案(混合類比訊號設計)可以實現更低功率且更低延遲響應的設計。」
去年，INI發佈了一段視訊，展示了數位辨識系統。該系統現在仍處於開發初期，還不是那麼具有可靠性。Liu的團隊成員還有Minhao Yang、Chang Gao、Enea Ceolini、Adrian Huber、Jithendar Anumula、Ilya Kiselev和Daniel Neil，多年來還研究了感測器融合，將音訊和視訊資訊結合起來，以實現更可靠的分類功能。他們一直遵循初期的設計準則來決定什麼時候應該選擇類比感測器，什麼時候應使用數位感測器。
圖2：Misha Mahowald是位址-事件表現(address-event representation，AER)的發明者之一，「神經形態工程獎」就是以她的名字命名的。
他們的另一個目標是提高資料擷取系統(DAS)的電源效率和性能，包括利用源極追隨器實現帶通濾波器，以及設計類比特徵提取器。
減少類比電子元件易變性的影響是另一個重要的研究領域。為了解決這個問題，Liu及其團隊設計了一個硬體模擬器。他們表示，相較於使用Cadence Virtuoso這一類的商用軟體，該模擬器可以更快地測試這些問題。使用軟體而非硬體來訓練二進位神經網路進行分類，讓研究人員們能夠準確地預測多種測試晶片的分類性能。Liu及其團隊目前打算在系統中增加雜訊來測試其易變性，使設計過程更加穩定可靠。
Mahowald神經形態工程獎
Liu是神經形態工程學的早期研究者之一，她曾經在加州理工學院(Caltech)的Carver Mead實驗室(Mahowald曾在此工作)進行研究，也是蘇黎世神經資訊學研究所的創始成員之一，當時研究小組中有許多人員離開加州加入了蘇黎世團隊。
在獲得該獎項時，Liu說：「我們很榮幸能夠獲得這個獎項，特別是與這麼多神經形態工程學的優秀研究人員一起獲獎。這項研究建立在數十年早期矽耳蝸設計的基礎上，延續了Dick Lyon、Carver Mead、Lloyd Watts、Rahul Sarpeshkar、Eric Vittoz和Andre van Schaik等人的研究工作。」
談到神經形態工程學的重要性，她說：「即使摩爾定律(Moore’s Law)走到盡頭，數位運算的能效仍比生物學的落後，甚至只有其千分之一。因此，諸如DAS這類混合類比電子系統能達到什麼樣的效率，變得比以往任何時候都更加重要。」
(參考原文：Allowing Machines to Listen, and Understand，By Sunny Bains）
