美國史丹佛大學(Stanford)教授Kwabena Boahen相信,更厲害的人工智慧(AI)即將來臨。他是數十位正在以人類大腦為模型開發晶片的研究學者之一,這種晶片號稱能提供比目前的處理器更高幾個等級的運算性能,功耗卻更低。

Boahen最新的開發成果Braindrop除了在能源效益上勝過Nvidia的Tesla GPU,也超越其他研究機構的類似處理器;他已經著手為開發下一代可望有更高性能的晶片尋找資金,可能會採用Globalfoundries的鐵電場效電晶體FET (ferroelectric FETs)製程。

這類所謂的神經形態(neuromorphic)晶片面臨的一大問題,是缺乏了某個關鍵元素──研究人員相信他們已經了解大腦用以運算的類比處理,以及用來在神經元之間有效溝通的棘波神經網路(spiking neural network)機制,但他們不知道的是大腦如何學習。

那會是演算法中非常重要的一個部份,卻仍然缺失。像是Boahen等研究人員都因為數個不錯的線索指出的發展路線感到樂觀與熱衷,但他們缺乏倒傳遞(back-propagation,或簡寫為backprop)的方程式。

在深度學習相關領域中,倒傳遞是訓練過程的核心,速度非常緩慢而且需要昂貴的CPU、GPU資源,以及大量離線運作記憶體;但這種演算法可以在廣泛的圖形識別問題上提供出色結果。研究人員表示,倒傳遞與深度學習所遭遇的問題在於是「人工」的,並非以大腦的神經元以及等同於將超級電腦等級運算任務以35W電源來執行的機制為模型,

Boahen在接受EE Times訪問時表示:「在這個領域有非常大的機會,有很多在雲端執行的應用有大量會產生延遲的需求,都不是使用深度學習網路。」

舉例來說,神經形態晶片能即時監控並分析橋樑的震動,卻僅需能量採集器提供的幾微瓦(microwatt)電力,只在人類需要採取行動時進行通訊;「我們應該思考,我們如何能讓所有的任務──不只是雲端服務──都能利用神經系統。」

Brain Drop

史丹佛大學團隊開發的Braindrop晶片
(來源:Stanford)

Boahen的樂觀在最近一場於美國紐約州舉行的技術研討會(Neuro Inspired Computational Elements Workshop,NICE 2019)上獲得了眾多該領域頂尖研究學者的迴響。如英特爾(Intel)的神經形態運算實驗室負責人Mike Davies就表示:「我們希望能拓展我們能執行的運算種類範圍,有很多在大腦中完成的有趣運算,並不在深度學習的範圍內。」

Davis在該場研討會的演說中指出:「深度學習所使用的只是神經元的粗略近似物,但因為倒傳遞演算法支援離線訓練,所以很有用。這不是神經激發概念,而是一種隨機梯度下降法(stochastic gradient descent),但運作成果相當好。」

英特爾研究人員正在利用其14奈米Loihi研究晶片來改善神經形態運算;這種主要是數位邏輯的晶片內含12萬8,000個神經元,該公司打算在6月推出內含768顆該晶片的5U系統。

Davies提及能實現以棘波神經網路進行訓練的三種具潛力方法的研發工作,也樂觀表示英特爾很快就能找到他們已經在Loihi晶片上執行的、訓練某個版本長短期記憶(LSTM)神經網路的方法;「我們要研究人員利用該晶片研發演算法以及其可編程性的基礎問題,」在此同時,英特爾繼續改善該研究晶片架構,以削減其因為整合了運算與記憶體的相對較高成本。

除了以上研究成果,德國海德堡大學(Heidelberg University)的研究人員已利用了晶圓級整合技術打造其BrainScales元件;他們正在為預計明年發表的第二代晶片添加可編程核心,以模仿大腦的可塑性。

IBM的半導體與AI研究副總裁Mukesh Khare則透露,該公司正在研發結合類比核心與非揮發性記憶體的晶片,以交叉點陣列(crosspoint arrays)儲存權重。他在上述的技術研討會上對聽眾表示:「運算的未來是位元、神經元與量子位元(qubits)。」

使用憶阻器(memristor)陣列也是一個被廣泛研究的方案。資深研究人員Steve Furber介紹了號稱全球最大的棘波神經網路系統Spinnaker,位於英國曼徹斯特大學(University of Manchester),在11個機櫃裡包含了上百萬顆的Arm處理器核心,是歐洲為人腦研究專案(Human Brain Project)設置的眾多系統之一,主要用來執行神經科學應用程式。

不過Fuber在演說中表示,為了因應打造人腦功能實際模型的挑戰如此艱巨,除了Spinnaker本身的例行除錯,沒有任何一種應用程式會用到該系統10%以上的資源;「人腦仍然是最前沿的科學研究之一,我們基本上仍不了解我們的腦袋裡正在發生的資訊處理原則。」

(未完待續…完整閱讀本文請看電子工程專輯雜誌2019年6月刊)

編譯:Judith Cheng