人工智慧(AI)讓電腦能夠學習以及執行特定任務,例如影像辨識和自然語言處理等,這主要來自於人類大腦的啟發。

然而,挑戰之處在於人類大腦儘管歷經300萬年來的發展,被稱為AI「大腦」的「人工神經網路」(Artificial Neural Network)卻只存在幾十年,尚未發展到像人腦中的灰質那樣精密或複雜,但預計很快地它將會被用於執行與人類智慧有關的任務。因此,當我們積極尋求創造有益於社會的AI系統時——從影像分類到語音辨識和自動駕駛,都必須發掘可加速AI演進的新途徑。

在此過程中,不僅確定了哪些類型的記憶體最適合特定的AI功能,同時也探索了可將各種記憶體解決方案整合在一起的最佳方法。從這個角度來看,AI面對著兩種主要的記憶體限制:密度和電源效率。AI對於功率的需求,使其僅限於可隨時取得電力的資料中心,難以擴展到其他應用,特別是那些擁有最大AI應用潛力和價值的雲端邊緣。

為了在邊緣實現AI,業界正朝向針對特定領域的架構方向發展,以加速更加節能的硬體開發。然而,一個可望為此明顯進展開路以及亟需為其集中大量資源的領域,就是記憶體技術本身。

將AI推向邊緣

過去的半個世紀以來,公共和私人利益的結合,加速推動AI的崛起,近來,深度學習(Deep Learning;DL)也隨之出現。深度學習模型由於提供卓越的感知能力,正成為最廣泛的AI形式之一。在部署典型的深度學習模型以使其根據輸入資料(來自感測器、攝影機)進行推論之前,必須先在龐大的資料集(通常是在資料中心的GPU伺服器上)上進行訓練,以調整網路參數,但這是一個昂貴而漫長的過程。

深度學習模型需要相當龐大的記憶體來訓練許多參數,因此必須利用外接記憶體(off-chip memory)。因此,在訓練期間產生的大部份能源成本都是因為在外接DRAM和內建SRAM之間傳輸大量資料負載的效率不彰而導致的,這種途徑經常使用超過總能量的50%。一旦模型訓練完成了,這些訓練網路參數還必須可以用於其他環境中執行推論任務。

由於AI應用的能耗和空間要求都相當高,使其直到最近都還局限在資料中心。然而,過去幾年來,對於高擴展性、低延遲且低成本的AI模型之需求不斷提高,並持續推動這些應用在邊緣執行,例如功耗和性能受到嚴格限制的物聯網(IoT)和行動裝置等。

這一趨勢正推動著一個快速擴展中的硬體生態系統,以支援邊緣應用進行推論任務,以及甚至是分佈式訓練(例如Google的聯合學習模型)的初期任務。這些新架構主要都由到語音辨識和影像分類等應用的驅動。

這一成長中的需求結合深度學習模型日益複雜的趨勢並不會持續太久,因為它導致公司在能耗、延遲、尺寸方面的需求,與目前記憶體所能實現的目標之間存在越來越大的差距。隨著摩爾定律(Moore’s Law)和Dennard Scaling逐漸走向終點,更加劇了這個問題,半導體產業需要朝向多樣化的新記憶體技術發展,才能因應這一典範轉移,並滿足對於經濟高效的AI硬體需求。

新記憶體技術的機會

AI領域是記憶體創新的沃土,具有獨特和改善的特徵,並為資料中心和邊緣帶來新機會。新的記憶體技術由於提高記憶體密度並改善了資料存取模式,能夠滿足讓邊緣裝置在本地執行深度學習任務的需求,從而減少在雲端來回傳輸資料的必要性。因此,能夠以高精度和高能效在本地執行感知任務,正是進一步推動AI前進的關鍵。

另一方面,對於可替代記憶體技術的重大投資也正展開中,包括NAND快閃記憶體(Flash)、3D XPoint (英特爾Optane)、相變記憶體(PCM)、可變電阻式記憶體(ReRAM)、磁阻式隨機存取記憶體(MRAM),以及能夠帶來能效、耐受度和非揮發性等優勢的其他記憶體技術。這些記憶體除了可加速AI的邊緣應用,還能讓雲端環境更有效地執行深度學習模型訓練和推論。其他的好處包括潛在地改善可靠性和處理速度。記憶體技術的種種改善將使其克服邊緣裝置的現有硬體挑戰。

特別是許多AI應用的技術存在固有特性或獨特品質,讓某些新型記憶體看來更具有明顯的優點。例如,ReRAM和PCM由於提供較Flash更優越的速度、密度和非揮發性,因而在推論應用方面更具優勢。MRAM提供類似於ReRAM和PCM的優點,兼具超高耐受度,因而能與SRAM競爭或互補,同時作為Flash的替代技術。即使是在其生命週期的早期階段,這些新的記憶技術在AI智慧領域也展現了巨大的潛力。

雖然目前距離實現AI還有幾十年的時間,但科幻小說中已經為我們承諾了未來的發展前景。目前,我們正走在這一重大突破的最前線,這些突破將影響生活的許多方面,並帶來更高效率的新商業模式。正如Rockwell Anyoha在哈佛大學(Harvard)的AI部落格特刊中所寫的,「在20世紀的前半段,科幻小說讓人們熟悉AI機器人的概念,包括從『綠野仙踪』(Wizard of Oz)那個需要一顆心的鍚鐵人(Tin Man)開始,一直到『大都會』(Metropolis)中那個冒充Maria的人形機器人。」

接下來的運算競賽即將在記憶體領域開打,因此,業界必須傾注大量的時間、金錢和腦力,專注於探索如何解決AI的記憶體問題。雖然這些電腦化的大腦終究無法與人類的大腦相提並論——尤其是在能效方面,但這正是人類自己的想法極具獨特之處,它讓我們有能力為許多幻想創造解決方案,從而真正落實各種AI應用。

編譯:Susan Hong

(參考原文:AI's Memory Problem,by Andrew Walker, VP of product at Spin Memory [formerly Spin Transfer Technologies])