神經形態電腦未來可期

作者 : Sunny Bains,EE Times專欄作者

機器究竟可以有多智慧?在智慧化的這條道路上,我們已經走過了漫長的幾十年,Siri和Alexa語音助手、影像辨識應用、甚至推薦引擎,其發展歷程告訴我們,前路漫漫,其修遠兮。但是,我們還需要什麼?

機器究竟可以有多智慧?在智慧化的這條道路上,我們已經走過了漫長的幾十年,Siri和Alexa語音助手、影像辨識應用、甚至推薦引擎,其發展歷程告訴我們,前路漫漫,其修遠兮。人類已經可以利用強大的電腦性能,以及大量良好標記的資料來執行醫療診斷這樣的深度學習任務,這是驚人的進步。

但是,我們還需要什麼?

人類對AI的追求遠遠超越了資料科學的範疇。當健康出現異常時,我們希望可穿戴生物感測器系統能夠立即發出警告;在最惡劣的駕駛條件下,我們希望自動駕駛車能夠即時做出反應;我們還希望機器人能以最小的角度轉向。怎樣才能實現這些呢?

我們的行動設備現在看起來似乎勉強能夠理解我們,但實際上並不能。他們只是簡單地將我們的聲音轉換和解碼成文字,然後發出請求,進而轉化為動作或答案,這只是一個運算密集的過程。

2013年曾有一個預測:人們每天花3分鐘時間使用語音辨識進行語音搜索,將使資料中心的運算需求增加一倍。利用傳統CPU實現該功能非常昂貴,因此,Google資深硬體工程師Norman Jouppi和他在同事共同開發了張量處理器(TPU),該處理器重點最佳化矩陣乘法硬體,可望將神經網路查詢的能效提高95%。

這些處理器在伺服器應用中發揮了很大的作用,但由於這種方法是將所有記憶體和處理集中在資料中心,因而對通訊基礎架構極其依賴,同時還需要進行資訊交流,其中很多是無關資訊,浪費了時間和能量。

隨著邊緣運算時代的來臨,如何才能滿足行動和非連網獨立設備應用對速度、功率、面積和重量的要求呢?

選擇性複製生物學

機器智慧所採用的神經網路是受生物學的啟發而建立起來的(圖1)。因此,神經形態工程師儘量模仿同樣的生物機理,使創建的硬體能夠更好地運作神經網路,這種方法為

工程師們提供了多種選擇。

圖1:神經形態工程學的目標是從生物學中汲取盡可能多的教訓,以實現跟大腦一樣的低功耗和強大功能。在實現神經處理、儲存和通訊時,工程師的設計選擇將決定人工大腦執行任務的效率。

一種策略是不再將晶片架構劃分為處理器和記憶體,而是將其分解為同時執行兩種功能的神經元。

其次,優先選擇大型多對多神經元連接方式,因為它使神經元網路的功能更強。採用能保持輸入訊號(例如影像)幾何資訊的感測器-處理器管道會有所幫助,因為它們在處理過程中允許相鄰神經元進行有效的互動,如同人類的視網膜一樣。將訊號值保持在類比域中也有好處,這樣所有內容都可以同時處理,而不用分解為不同位元的複雜動作。

最後,關聯通訊時間與神經行為而非任意的時脈,這意味著訊號本身包含更多的資訊:那些同時到達的類腦尖峰訊號通常與同一事件相關。

這就是為什麼神經形態工程或運算這個術語有點難懂的原因。這個術語是加州理工學院教授Carver Mead於20世紀80年代後期創造的。在隨後的幾十年中,Mead及其他人的專案尤其重視類比運算帶來的好處。例如在一個複製了一組飛蠅複眼運動檢測器電路的系統中,多個接收器檢測到類比訊號,然後透過鄰近互動傳播到側面。這種系統具有極高的速率和極低的功耗(1990年代後期Reid Harrison證實其功率僅為幾微瓦),充分顯示出同時保持訊號幾何資訊和類比處理能力的好處。

「純」神經形態系統的另一個特徵是頻繁使用位址-事件表達(AER)。這種通訊系統具有傳統網路的許多優點,同時還提供多對多通訊,保持了尖峰時序。

使用AER,一個神經元會根據其學習、行為和剛收到的輸入資訊,在需要時隨時發出一個尖峰訊號。它將訊號傳輸給網路中的所有其他神經元,但只有應該接收尖峰訊號的神經元才可以接收,其他神經元會忽略該訊號。這種網路之所以與眾不同,是因為兩個尖峰訊號之間相隔時間較長,因此,只有差不多同時到達的來自不同神經元的尖峰訊號才被視為相關(圖2)。

圖2:每個神經元都使用尖峰進行交流,無需與成百上千的其他神經元直接相連。AER是保持尖峰時序的一種方法,只要出現尖峰的可能性夠低,使同時到達編碼器的尖峰之間不存在競爭,這種方法就有效。

許多神經形態系統都使用AER,特別是法國的Prophesee和瑞士的aiCTX(AI cortex),他們專注於研究感測處理。這種方法既靈巧又實用,其優點在於神經元之間不需要進行硬連接,輸入訊號資訊可以簡單地即時透過處理器,無關資訊將被丟棄,剩下的資訊將在神經管道中進一步處理。

權衡取捨

雖然「典型的」神經形態技術極具吸引力,但也有一些缺點,比如,要提高功率和速度就很不容易。數位電子元件比類比元件更耗電,因為數位元件在不停地糾錯:強行將訊號變為1或0。使用類比電路則不會出現這種情況,所以因溫度的變化、元件的不同,以及其他因素引起的誤差和漂移不會消失。產生的結果可能不是錯誤,而是偏移或損壞了。

電子元件的製造過程也遠說不上完美,這讓事情變得更加糟糕。慶幸的是,電路是可以測試的,因此對於數位技術而言,問題沒那麼嚴重。如果數位元件不能通過測試,可以將它們扔掉。

而在一個類比系統中表現完美的一組神經權重,在另一個系統中卻可能表現很糟。如果想集中學習,然後將這一行為複製到許多不同的機器中,需要付出一定的代價——可能是可靠性降低,更可能是必須採用冗餘設計來克服這些問題。

幸運的是,這一障礙並非無法逾越,但在我們轉向研發憶阻器(memristors)等新興技術時還是值得注意。憶阻器這種精巧的元件是可以嵌入核心神經電路的記憶體,因此可用於神經網路,其優點是能使類比神經元變得更小,功耗更低。

另一種方法是,在遵循自然構造(尤其是分散式)和相互連接的神經元來實現結構化設計時,可以最小化甚至取消類比電路,根據實際需要決定神經形態的程度(圖3)。

圖3:神經形態和非神經形態界線模糊,需要工程師根據具體的應用和成功的標準來進行權衡。如果重複性很重要而且無需考慮功率,則應選擇較少神經形態的方案。如果速度、功率、面積和重量是主要考量因素,而且更易接受模糊行為,則神經形態運算更加可行。

例如,IBM的TrueNorth雖然是數位元件,但功耗卻非常低,因為邏輯元件可以採用奈米製程來製造。而在如此小的尺寸下,很難實現類比電路。

英特爾的Loihi晶片離類比更近一步,因為它是非同步的:每個神經元都可以依自己的速率觸發。同步則是透過一組相鄰神經元的互動產生,只有在其他神經元完成一個時間步長或時脈驅動操作之後,同步過程才開始。

良性循環

到這裡,類比神經形態系統似乎走進了死胡同,但事實並非如此。Loihi和TrueNorth都是通用晶片,專用於通用的學習任務。

但生物學並不是通用的,而是根據具體的任務有針對性地最佳化。

短期之內,速度、功率、面積和重量確實重要,工程師也想對進行最佳化。哪怕晶片價格再高,他們最終仍將選擇最高效的設計。

但如果某些神經形態運算的利基應用獲得成功(諸如關鍵字檢測或感知處理),則可能形成投資、開發、創新和最佳化的良性循環。最終可能會產生一個具有其自身摩爾定律的新興產業,一個與認知和智慧任務的需求密切相關的產業。

因此,我們可以合理地推斷:神經形態處理器最終將克服我們在建構複雜的智慧型機器的過程中所面臨的瓶頸。其目標包括能分析及辨識物件和所處環境,並即時適應不同類型感測資料的機器(類似於人腦)。

為了實現這一目標,需要更深入地瞭解生物過程,使神經形態運算成為現實。

(參考原文:The Promise and Pitfalls of Neuromorphic Computers,by Sunny Bains)

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 群組 !

 EET-Line技術論壇-QR

發表評論