機器學習有兩個基本階段:訓練和推理。人工神經網路旨在模仿大腦的運作方式,首先要讀取大量的已知資料——例如狗和貓的圖片——這樣才能學會識別每個物體的樣子以及它們的不同之處;然後經過訓練的神經網路或模型就可以開始工作,根據所學到的知識推斷呈現在面前的新資料是什麼事物,例如判別影像中的是狗還是貓。

目前大多數訓練都是在資料中心進行的,但也有少數是在邊緣端進行。像Google、Facebook、Amazon、Apple和Microsoft這樣的大公司都擁有大量消費者資料,因此可以為他們的「伺服器農場」提供足夠多的資料進行工業規模的AI訓練,以改善其演算法。訓練階段需要速度非常高的處理器,例如繪圖處理器(GPU)或Google開發的張量處理器(TPU)。

當邊緣裝置收集到資料——例如建築物或人臉的照片——並傳送到推理引擎進行分類時,推理就會發生。以雲端為基礎的AI因為固有的延遲缺點,對許多應用來說是不可接受的;例如自動駕駛車需要對看到的物體做出即時決策,這以雲端AI架構就不可能實現。

隨著AI功能逐漸向邊緣端發展,它們將推動更多的AI應用,而且這些應用會越來越需要更強大的分析能力和智慧,好讓系統在本地即可做出運作決策,無論是部分還是完全自主的,就像自動駕駛車輛所配備的功能。

傳統CPU不是很擅長這類任務,而高階GPU則是功耗大、價格昂貴;邊緣端推理需要更便宜、功率更低的晶片,可快速透過神經網路識別一種動物、一張臉,鎖定一個腫瘤,或將德語翻譯成英語。如今有超過30家公司正在研發AI專用的硬體,以提高在智慧型手機、平板電腦和其他邊緣裝置中完成這類特殊運算任務的效率。

分析師們預測,從2017~2021年,全球AI晶片市場將取得高達54%的年複合成長率(CAGR),其關鍵成長動力在於能滿足機器學習要求的強大硬體。

消除記憶體瓶頸

所有AI處理器都仰賴於資料集,也就是「學習過的」物件種類(如影像、聲音等等)模型,用以執行識別功能;每個物件的識別和分類都需要多次存取記憶體,而當今工程師面臨的最大挑戰就是如何克服現有架構中的記憶體存取速度和功耗瓶頸,以實現更快的資料存取,同時降低資料存取消耗的能源成本。

透過在盡可能接近AI處理器核心的位置儲存訓練資料,可獲得最快存取速度和最大能效;但是目前的設計所採用之儲存架構,都是幾年前還沒有其他實用解決方案時打造的,仍然是速度快但小容量的嵌入式SRAM與大容量但速度較慢的外部DRAM之傳統組合。當訓練模型以這種方式儲存,嵌入式SRAM、外部DRAM和神經網路之間頻繁且大規模的資料交換會增加功耗及傳輸延遲;此外,SRAM和DRAM都是揮發性記憶體,限制了在待機狀態的省電效果。

利用高密度、高速和低功耗的非揮發性記憶體將整個訓練模型直接儲存在AI處理器晶片上,就可以實現更高的能效和速度。透過實現以記憶體為中心的新架構(如圖1),整個訓練模型或知識庫就可以放在晶片上,直接與神經網路連結,這樣就有實現大規模節能與性能提升的潛力,並因此能大幅延長電池壽命並提供更好的用戶體驗。現在已經有幾種新一代記憶體技術正競相實現此一目標。

20181016NT31P1 圖1 記憶體位於AI架構中心。

ReRAM的潛力

針對AI應用的理想非易失性嵌入式記憶體應該具備如下特點:容易製造、容易整合到成熟的CMOS後段製程、容易微縮到先進製程節點、可大量供應,並且能夠滿足各種應用對功耗和速度的要求。

在製程微縮方面,電阻式記憶體(ReRAM)會比磁性記憶體(MRAM)或相變化記憶體(PCM)更具優勢...

...繼續閱讀請連結EDN Taiwan網站