新研究成果可望催生類比AI晶片

作者 : Sally Ward-Foxton,EE Times歐洲特派記者

新創公司Rain Neuromorphics與加拿大蒙特婁學習演算法研究所(MILA)共同進行的一項研究證明,使用全類比硬體來訓練神經網路是可能的,這意味著打造端對端類比神經網路的可行性,對於整個神經形態運算和AI硬體領域都具有重大意義。

由專長神經形態晶片(neuromorphic chip)的新創公司Rain Neuromorphics與加拿大蒙特婁學習演算法研究所(Montreal Institute for Learning Algorithms,MILA)共同進行的一項研究證明,使用全類比硬體來訓練神經網路是可能的,這意味著打造端對端類比神經網路的可行性,對於整個神經形態運算和AI硬體領域都具有重大意義。

以全類比AI晶片進行訓練與推論,可以大幅節省算力、功耗,並減少延遲時間和元件尺寸。這項突破性研究成果是電子工程與深度學習的結合,將為具備AI功能、會像人類一樣在現場自己學習的機器人之實現開啟一扇門。

在一篇與「AI教父」、圖靈獎得主Yoshua Bengio共同著作的論文「以平衡傳播訓練端對端類比神經網路」(Training End-to-End Analog Neural Networks with Equilibrium Propagation)中,研究人員表明可以利用憶阻器的縱橫閂(crossbar)陣列來訓練神經網路,這類似今日商用AI加速器晶片採用的記憶體內處理器(processor-in-memory)技術,但在網路的每一層之間不需要相對應的ADC和DAC陣列。此研究成果可望催生更省電的AI硬體。

Bengio與上述論文其他作者Jack Kendall、Ben Scellier,以及Rain Neuromorphics執行長Gordon Wilson接受了《EE Times》的視訊採訪,解釋這項研究成果的重要性。Wilson指出:「功耗與成本是目前阻礙我們佈署新型人工智慧的最主要因素,我們非常希望找到一種更具效益的運算基礎,從根本上更節能,不僅能讓我們不必將AI訓練限制在大型資料中心,還可以實現原本我們只能想像的一個世界──在其中所有的裝置都能獨立、自主並擁有無限能量,會自我學習;我們認為這項研究就是在開啟通往那個世界的大門。」

研究人員已在MNIST──美國國家標準與技術研究院手寫數字資料庫修訂版(the Modified National Institute of Standards and Technology database of handwritten digits)的分類上進行端對端類比神經網路的模擬訓練,證明其性能與基於軟體的同等級神經網路相當,甚至更好。

縱橫閂陣列

憶阻元件的縱橫閂陣列是類比運算技術的基礎。目前有包括Mythic、Syntiant和Gyrfalcon等公司推出的ASIC晶片是以憶阻元件作為記憶體單元,執行矩陣向量乘法的功耗比CPU和GPU要少得多。實際上這類元件大部分功耗都是來自於每一個運算層之間必備的ADC和DAC,需要它們來緩解元件不匹配或記憶體單元性能上的輕微不理想狀況,否則會影響最終結果的準確性。

然而這些不理想狀況恰恰是神經網路迄今尚未完全在類比硬體上實現的原因;這些狀況使推論變得很麻煩,對訓練任務更是致命的,因為反向傳播(backpropagation,今日最常見的訓練演算法)所需的前向和後向資料路徑,會加劇這種效應。

前面提到的論文共同作者之一、也是Rain Neuromorphics的技術長Kendall表示:「其他公司專注於推論任務,是因為在類比元件上進行AI訓練實際上相當困難。如果嘗試在類比元件上進行反向傳播,將會得到來自兩個獨立資料路徑的正向激勵(activations)和反向激勵。這是因為透過網路反向傳播時,元件的不匹配和非理想狀況導致的錯誤往往會不斷累積,因此如果在類比元件上查看反向傳播的實施,表現會是非常糟糕的。」

Wilson認為,目前產業界的實際做法,也就是將利用類比元件進行AI訓練和推論分成兩件不同的事,最終會是錯誤的;「如果想在類比元件進行推論,系統會有雜訊。那些一直在構建類比推論晶片的人們意識到,他們需要建立全新的訓練典範,他們會插入雜訊以映射類比推論晶片中的東西。」

他進一步指出:「這是一種成本高、效率低的方法,因為硬體的不匹配會需要使用各自獨立的硬體分別進行訓練和推論。但是如果之結合在一個平台上,不僅可以持續適應學習,在訓練和推論元件之間也不會出現不匹配的情況。」

平衡傳播

說到平衡傳播(Equilibrium Propagation,簡稱EqProp);這是Bengio和Scellier在2017年發明的一種技術。這種訓練演算法只有一條資料路徑,因此避免了類比硬體中反向傳播引起的問題。但是有一個需要注意的地方:EqProp僅適用於能量模型網路。

Scellier解釋:「能量模型(Energy-based models,EBM)是一種依賴平衡狀態的仿生神經網路。近四十年來,我們實際上是採用傳統的數位電腦來模擬物理定律,並且是透過使那些能量函數最小化的方式來實現的。在我們與Rain Neuromorphics的合作中,關鍵的發現在於,我們不是藉由模擬這些物理定律來最小化能量消耗,而是使用物理定律來構建有效的類比網路。」

這項新研究揭示的一項令人驚訝的結果:根據基爾霍夫定律(Kirchhoff’s laws)的電路理論,首次與神經網路直接連結;這意味著,一整套新的電子工程學數學工具可以應用於深度學習,並將之從一個領域轉移到另一個領域。

Scellier表示:「我們在這項研究中取得的成果,是填補了數學能量和物理能量之間的概念鴻溝。關於如何分析神經網路、能量模型,以及如何用電路理論分析和訓練電路;這項新研究為我們提供了新的洞見。這非常令人興奮,因為在數學層面上能做的工作很多。」

晶片上學習

雖然EqProp的概念自2017年就有了,但這項新研究將一個抽象概念變成了可以透過電路以實體呈現的東西。這將使端對端的類比運算成為可能,不必再將每個運算步驟都轉換成數位形式。對此Bengio表示:「我們利用物理學直接實現想要的運算,不必用非常複雜的構造將物理世界發生的事情轉換為我們通常以軟體來做的事情。因此,我們可以在運算、時間、能耗和電路尺寸方面有很大的節省。」

他解釋,演算法了解到的元件不匹配或不理想情況並不是很多,或者根本不需要在乎;「如果能夠調整每個元件以修改其某些特性,例如電阻,從而使整個電路都能按要求執行,就不必在乎每個功能區塊──例如乘法器或人工神經元──是否與旁邊區塊做的事情完全相同。」

「深度學習的核心原則之一是,所期望的是整體運算,即整個電路一起執行想要它完成的任務。不必在乎每個單獨的元件在做什麼,只要我們可以進行調整,讓它們與其他元件一起工作、實現我們想要的運算即可。」

Bengio將晶片上的運算單元描述為大腦中的神經元:每個單元都會隨著學習的進步而稍作修改,因此最終結果將變得更加準確。但是深度學習過程本身並不需要數學上完全相同的運算單元。他認為是因為我們堅持用軟體進行運算,才導致了效率低下。

「人們一直在嘗試的方式,是努力讓類比元件進行理想化的乘法和加法運算;這當然很困難,兩種元件沒辦法做相同的事。」Bengio表示:「結果是花費大把能量和時間來完成運算,因為要強迫每個單元去完成你可以用一個方程式解決的理想化工作;但這真的不需要,我們需要的是一整個電路,就像人的大腦一樣。」

端對端類比神經網路的主要缺點是,不同晶片之間的元件不匹配和非理想情況顯然是不同的, 因此每個晶片都需要一定程度的訓練,而不是像我們現在做的那樣,簡單地實施一個預先訓練過的模型。Bengio建議,可以在晶片生產工廠中進行某種初始化,這樣也許不需要從頭開始進行訓練,只需要調整。

「這有點像人類,」他表示:「也就是說沒有兩個完全相同的人,因為我們的神經元不會完全相同,經驗也不完全相同。那些電路也可能會是這樣,兩顆晶片不會做完全相同的事情。」

深度學習的未來

研究人員指出,該項研究可以為新一代超高速、低功耗神經網路硬體的開發提供指南,這種新的神經網路硬體將同時支援推論和晶片上學習。目前大多數的AI模型約是數百萬個神經元的規模,這種技術最終可能使類比神經網路的規模擴展到人腦的大小(860億個神經元)。

除了可能為AI提供高效、可擴展的類比晶片之外,上述研究成果還具有一個更廣泛的意義,也就是實現利用EqProp作為訓練框架的類比運算。這為主流深度學習提供了一條未來發展途徑。今日有許多神經形態方法都是採用以棘波神經網路(spiking neural networks,SNN)為基礎的不同類人腦典範,這種方式可望實現更節能的訓練與推論。

Wilson表示:「從性能上來說,SNN從未真正勝過反向傳播模型。這是因為,採用訓練棘波神經網路的演算法STDP (spike timing dependent plasticity),從根本上無法像反向傳播那樣訪問全域梯度資訊(global gradient information)。利用我們的能量模型,在進入類比世界時,我們保留了反向傳播的這些優勢。」

研究人員還指出,訓練SNN缺乏理論框架,而EqProp和能量模型則提供了訓練端隊端類比神經網路的理論框架(透過隨著本地權重更新機制而下降的隨機梯度)。儘管這似乎使兩種典範相互矛盾,Kendall與Bengio均認為它們最終應該會統一。

Rain Neuromorphics的計畫

Rain Neuromorphics正打算建構專有硬體,以充分利用此突破性研究成果。Wilson透露,該公司正致力於兩項主要技術的商用:基於新EqProp演算法的端對端類比神經網路硬體,以及該公司的憶阻奈米線神經網路晶片(MN3)。這兩項技術並沒有真正的關聯,只是Kendall在兩項突破中都有參與,而且它們都是人腦仿生技術相關。

「我們最終將結合這兩項硬體創新,」 Wilson表示:「最初,我們只是將MN3作為協同處理器來商業化,而協同處理器仍需要數位類比和類比數位轉換。現在我們終於計畫將MN3與EqProp結合起來,實現大量化、規模化、稀疏化(sparse)的端對端類比神經網路商用。」

 

Rain的MN3技術將實現大量擴展的類比運算硬體,在同一晶片上整合更多神經元。

 

MN3由Kendall和材料科學教授Juan Nino (他也是Rain Neuromorphics的第三位共同創辦人在2014年於美國佛羅里達大學(University of Florida)發明,主要用於實現類比運算硬體的擴展。儘管如今的類比晶片可以非常快速執行矩陣乘法,但由於輸入和輸出侷限於晶片兩端,因此陣列的擴展性很差。MN3晶片具有與隨機沉積的憶阻奈米線相連的神經元陣列,這些憶阻奈米線形成突觸,可以構建同時處理訓練和推論的低功耗晶片。

Wilson表示:「MN3將憶阻單元從CMOS內部移到CMOS之上,從而使整個CMOS層佈滿輸入和輸出網格。這種陣列架構的轉變使類比矩陣乘法得以大規模擴展。」如今的類比矩陣乘法陣列有多達4,000個輸入和4,000個輸出,MN3可將其擴展至數十萬。這個概念利用的是一種特殊類型的稀疏性——小世界稀疏性(small world sparsity),反映了在人腦中觀察到的稀疏性模式。

一年前,Rain Neuromorphics的MN3測試晶片採用台積電180奈米製程成功投片,代號為Cumulus;該公司預計於今年稍晚投片第二版(尺寸更大)。基於EqProp的測試晶片投片則計畫於2021年進行。

 

憶阻奈米線的發明促成了Rain Neuromorphics 的MN3技術。

(圖片來源:Rain Neuromorphics)

 

本文同步刊登於《電子工程專輯》雜誌2020年10月號

責編:Judith Cheng

(參考原文:Research Proves End-to-End Analog Chips for AI Computation Possible,by Sally Ward-Foxton)

 

 

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 群組 !

 EET-Line技術論壇-QR

發表評論