ReRAM助力實現更像人腦的AI系統

作者 : Gary Hilson,EE Times特約編輯

米蘭理工大學開發了利用以色列業者Weebit之ReRAM技術的硬體,結合卷積神經網路(CNN)的效率以及啟發自人腦的棘波神經網路(SNN)之可塑性,讓硬體系統能在不忘記先前擷取資訊的訓練任務之情況下,再學習新事物。

近期發佈的一項研究成果採用了以色列業者Weebit Nano的二氧化矽(silicon oxide,SiOx)可變電阻記憶體(ReRAM)技術打造出類人腦的人工智慧(AI)系統,號稱可執行高精確度的非監督式學習(unsupervised learning)任務。

該研究成果是由義大利米蘭理工大學(Politecnico Milan)的研究人員與Weebit Nano共同發表,在一篇論文中介紹了以Weebit二氧化矽ReRAM為基礎實現的創新AI自主學習。ReRAM被視為最具潛力的NAND快閃記憶體技術「接班人」,因為具備速度比NAND快1,000倍、所消耗能量又比NAND低1,000倍的優勢,而且能以現有的製程生產。

有多家研究機構著眼於將ReRAM應用於AI領域,米蘭理工大學就是其中之一;該校開發了利用Weebit之ReRAM技術的硬體,結合卷積神經網路(CNN)的效率以及啟發自人腦的棘波神經網路(spiking neural networks,SNN)之可塑性,讓硬體系統能在不忘記先前擷取資訊的訓練任務之情況下,再學習新事物。此外,該系統藉由調整運作頻率來達到省電的目的,號稱能藉此實現自主性AI系統的「終身學習」解決方案。

這項研究是由米蘭理工大學教授Daniele Ielmini的團隊所執行,目標是解決人工神經網路(ANN)──即便他們的物體識別能力勝過人類──無法不忘記先前的訓練任務、再擷取新資訊的缺點。Ielmini接受《EE Times》採訪時表示,團隊的研究成果展現了能調整運作頻率以達到省電目的之電路可塑性。並能實現50%未經訓練分類的連續性學習;這種分類上的最佳化以及過濾器的重新訓練,克服了標準ANN會「遺忘」的重大缺點。

Ielmini表示,AI系統迄今遭遇的最大挑戰,是能學習的東西有限制;舉例來說,如果硬體系統已經接受訓練去識別特定的數字,它就只能識別被訓練過的數字,卻無法識別額外的數字。類似地,系統無法識別字母,因為它只學過數字。

他進一步指出,研究團隊的目標就是開發一種以ReRAM技術為基礎、具備連續學習能力的新硬體,而且他們開發的推論系統也展現了能學習比被教過的東西多50%以上的能力;舉例來說,該硬體被訓練了100種圖形,卻仍能識別額外100個未被訓練過的圖形,「這實際上是我們的大腦進行學習時的情況。」

Ielmini解釋,基本上,當大腦看到某個認得出的東西,就會有一個代表該目標的神經元被觸發;每一次該神經元被觸發,就會消耗能量。因為大腦會想要節省能量,會有一種內部回饋機制降低神經元觸發的閾值,最終實現終身學習。團隊研究人員就是以採用ReRAM的硬體來模仿人腦的架構,實現系統的高能源效率;「這是現今AI硬體很大的一個限制。」

Weebit Nano對於米蘭理工大學的研究成果並不感到意外,該公司執行長Coby Hanoch表示,他們與Ielmini及其團隊密切合作了三年以上的時間。「能展現二氧化矽ReRAM不僅能作為先進記憶體,也能實現其他先進應用,對我們來說相當重要;」他指出,Weebit Nano一直深信ReRAM具備在神經形態等先進應用上的龐大潛力。

Hanoch強調,Weebit Nano與眾多研究人員合作開發ReRAM的潛在應用,與米蘭理工大學的合作成果為目前的AI系統添加了可塑性。他指出,今日常見的AI系統是以監督式學習為基礎,需要花費龐大的精力來訓練系統,而且訓練後只能執行被訓練的單一任務;但人腦是能夠在不需要被大量訓練的情況下分類物體,這是因為具有可塑性、只要幾張影像就能投射。

不過就算Weebit Nano對神經形態AI應用持續看好,Hanoch表示,身為一家商業公司、也是尚未產生營收的新創公司,他們還是將焦點集中在透過市場上的嵌入式產品或是開發獨立式ReRAM產品,來產生初始營收。

「無論如何,我們準備好迎戰被認為將顛覆半導體產業的神經形態系統未來應用,」他指出:「像是Google、Facebook、Microsoft、Intel等公司都在該領域投入很多精力,因為他們相信其巨大潛力,以及需要改善目前得在雲端佈署大量硬體、能源消耗量非常高的ANN系統。」

Weebit已經在二氧化矽ReRAM的記憶體應用與設計創新方面,申請了多項聚焦於製造、最佳化與編程技術的專利;Hanoch指出:「ReRAM元件將會是未來以ReRAM為基礎之神經形態系統的基礎。」

舉例來說,該公司最近與長期合作夥伴──法國研究機構Leti合作的專利,定義了一種在ReRAM中實現更強韌多層儲存的有效方法,能實現在每個記憶體單元儲存超過1位元以上的功能。這能提升記憶體的儲存容量,又不需要增加記憶體單元的數量或記憶體陣列的規模,使得該記憶體技術更具成本效益。

雖然上述方法是以Weebit Nano的二氧化矽ReRAM為基礎,也能夠擴展到其他ReRAM記憶體技術上;Hanoch表示,「我們相信我們的專利能被眾家想要實現MLC的ReRAM公司採用,就算是不需要用該技術實現MLC的公司,如果想要實現更多層也會需要這種方法。」

而Weebit Nano也不是唯一開發ReRAM在AI應用領域潛力的公司──在2020年初,ReRAM製造商Crossbar和其他幾家公司共同成立了一個名為SCAiLE (SCalable AI for Learning at the Edge)的AI聯盟,致力於實現利用ReRAM的節能AI平台。

 

編譯:Judith Cheng

(參考原文 :ReRAM Research Improves Independent AI Learning,By Gary Hilson)

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 群組 !

 EET-Line技術論壇-QR

發表評論